[논문 리뷰] SECS: Efficient Deep Stream Processing via Class Skew Dichotomy

Boyuan Feng, Kun Wan외 2명|arXiv (Cornell University)|2018. 09. 07.

Advanced Neural Network Applications참고 문헌 40인용 수 4

한 줄 요약

SECS는 환경에 따라 달라지는 클래스 분포의 비대칭성(클래스 스케w)을 활용하여 동시에 정확도를 향상시키고 자원 소비를 줄이는 동적 딥 스트림 처리 프레임워크를 제안한다. 낮은 오버헤드를 갖는 런타임 적응을 가능하게 하는 확률 레이어를 도입하고, 핫 스케w(빈번히 발생하는 클래스 불균형)와 콜드 스케w(희귀한 클래스 불균형)의 이분법적 특성을 활용함으로써, 콜드 스케이에 대해서는 해석 모드를, 핫 스케이에 대해서는 클래스별 프루닝을 통한 컴파일 모드를 적용하여, 최신 기술(SOTA) 모델 대비 3배에서 11배의 속도 향상을 이룬다. 이는 더 높은 정확도를 유지하면서 달성한 것이다.

ABSTRACT

Despite that accelerating convolutional neural network (CNN) receives an increasing research focus, the save on resource consumption always comes with a decrease in accuracy. To both increase accuracy and decrease resource consumption, we explore an environment information, called class skew, which is easily available and exists widely in daily life. Since the class skew may switch as time goes, we bring up probability layer to utilize class skew without any overhead during the runtime. Further, we observe class skew dichotomy that some class skew may appear frequently in the future, called hot class skew, and others will never appear again or appear seldom, called cold class skew. Inspired by techniques from source code optimization, two modes, i.e., interpretation and compilation, are proposed. The interpretation mode pursues efficient adaption during runtime for cold class skew and the compilation mode aggressively optimize on hot ones for more efficient deployment in the future. Aggressive optimization is processed by class-specific pruning and provides extra benefit. Finally, we design a systematic framework, SECS, to dynamically detect class skew, processing interpretation and compilation, as well as select the most accurate architectures under the runtime resource budget. Extensive evaluations show that SECS can realize end-to-end classification speedups by a factor of 3x to 11x relative to state-of-the-art convolutional neural networks, at a higher accuracy.

연구 동기 및 목표

• 모바일 플랫폼에서 실시간 딥 스트림 처리 시 모델 정확도와 자원 소비 간의 상충 관계를 해결한다.
• 기존에 미사용된 환경 신호로 간주되던, 국소적이고 시간에 따라 변화하는 클래스 분포의 비대칭성(클래스 스케이)을 식별하고 활용하여 정확도 향상과 계산량 감소를 동시에 달성한다.
• 기존의 피니튜닝 기반 적응 방법이 유발하는 높은 지연 시간 문제를 해결하기 위해, 재학습 없이도 런타임에서 동적으로 클래스 스케이에 적응할 수 있는 0오버헤드 확률 레이어를 도입한다.
• 콜드 스케이에 최적화된 해석 모드와 핫 스케이에 최적화된 컴파일 모드를 각각 활용하는 이중 모드 시스템을 개발하여, 런타임 효율성과 향후 배포 최적화를 동시에 달성한다.
• 수동적인 하이퍼파라미터 튜닝을 제거하기 위해 자동 아키텍처 선택 기법인 ALPerforation을 활용해 자원 제약 조건 하에서의 모델 구성 선택을 자동화한다.

제안 방법

• 클래스 스케이에 맞게 출력 레이어를 동적으로 조정할 수 있도록, 런타임에서 재학습 없이도 빠르고 오버헤드가 낮은 경량 비학습 모듈인 확률 레이어를 도입하여, 즉각적인 적응을 가능하게 한다.
• 클래스 스케이 발생 빈도를 모니터링하여 스케이 이분법을 탐지함으로써, 자주 발생하는 스케이를 '핫'으로, 희귀한 스케이를 '콜드'로 분류한다.
• 콜드 클래스 스케이에 대해서는 해석 모드를 적용: 확률 레이어를 활용해 런타임에서 최소한의 오버헤드로 모델을 적응시킨다.
• 핫 클래스 스케이에 대해서는 컴파일 모드를 트리거: 클래스별로 집중적인 프루닝을 수행하여 향후 배포를 위한 최적화를 수행한다.
• 재학습 없이도 재현 가능성과 타겟 클래스 기반으로 최적의 모델 구성(예: 레이어 수, 채널 수, 특징 맵 해상도)을 자동으로 선택할 수 있도록, ALPerforation이라는 자동 아키텍처 탐색 기법을 설계한다.
• 동적 클래스 스케이 탐지, 모드 선택(해석/컴파일), ALPerforation을 통합하여 종단 간 스트림 처리를 위한 통합 프레임워크인 SECS를 구현한다.

실험 결과

연구 질문

• RQ1 국소적이고 시간에 따라 변화하는 클래스 분포의 비대칭성(클래스 스케이)을 활용하여 딥 스트림 처리에서 정확도 향상과 자원 소비 감소를 동시에 달성할 수 있는가?
• RQ2 피니튜닝 없이도 높은 지연 시간 없이 동적으로 클래스 스케이에 적응할 수 있는 0오버헤드 적응 메커니즘을 설계할 수 있는가?
• RQ3 핫 스케이 대비 콜드 스케이의 이분법적 특성은 효율적인 런타임 및 향후 최적화를 위한 원칙적인 이중 모드 전략(해석 및 컴파일)을 가능하게 하는가?
• RQ4 자동 아키텍처 탐색(ALPerforation)을 통해 수동 튜닝이나 재학습 없이도 동적 클래스 스케이 조건 하에서 고성능·저자원 모델을 효과적으로 식별할 수 있는가?
• RQ5 실제 모바일 환경에서의 자원 제약 조건 하에서 SECS는 최신 기술(SOTA) 방법에 비해 얼마나 더 뛰어난 성능(속도 및 정확도)을 보일 수 있는가?

주요 결과

• SECS는 최신 기술(SOTA) 합성곱 신경망 대비 종단 간 분류 속도를 3배에서 11배까지 향상시키며, 정확도를 유지하거나 향상시켰다.
• 확률 레이어를 통해 새로운 클래스 스케이에 대해 정확한 적응이 가능하며, 런타임 오버헤드가 전혀 없어, 각 전환 시 14초 이상의 지연 시간을 유발하는 피니튜닝 방법보다 뛰어난 성능을 보였다.
• 핫 클래스 스케이에 대해 컴파일 모드에서의 클래스별 프루닝은 일반적인 프루닝을 넘어서, 자주 발생하는 클래스에 집중적으로 최적화함으로써 추가적인 최적화 이점을 제공한다.
• ALPerforation은 자원 제약 조건 하에서 모델 선택을 성공적으로 자동화하여 수동 하이퍼파라미터 튜닝을 제거하고 사용자에게 복잡성을 숨겼다.
• SECS는 이미지 분류를 넘어, Fast R-CNN 등 CNN 구성 요소를 사용하는 다른 모델에도 일반화 가능하며 잠재적 적용 범위가 넓다.
• 해상도를 균일하게 감소시키는 것은 최적의 방법이 아니며, ALPerforation을 통한 위치 인식 기반 프루닝이 균일한 해상도 감소보다 더 뛰어난 정확도-효율성 트레이드오���을 달성한다.