[논문 리뷰] Constructing Fast Network through Deconstruction of Convolution

Yunho Jeon, Junmo Kim|arXiv (Cornell University)|2018. 05. 28.

Advanced Neural Network Applications참고 문헌 14인용 수 23

한 줄 요약

이 논문은 학습 가능한 이동 연산을 제공하는 액티브 시프트 레이어(ASL)를 제안한다. ASL은 표준 컨벌루션을 매개변수화된 이동 연산과 1×1 컨벌루션으로 분해함으로써 파라미터 수와 FLOPs를 크게 감소시킨다. 백프로파게이션을 통해 실수값 이동량을 종합적으로 학습함으로써, ASL은 빠른 추론 속도를 유지하면서도 모바일 디바이스와 같은 자원 제약 환경에서 MobileNetV2 및 기타 경량 네트워크를 능가하는 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Convolutional neural networks have achieved great success in various vision tasks; however, they incur heavy resource costs. By using deeper and wider networks, network accuracy can be improved rapidly. However, in an environment with limited resources (e.g., mobile applications), heavy networks may not be usable. This study shows that naive convolution can be deconstructed into a shift operation and pointwise convolution. To cope with various convolutions, we propose a new shift operation called active shift layer (ASL) that formulates the amount of shift as a learnable function with shift parameters. This new layer can be optimized end-to-end through backpropagation and it can provide optimal shift values. Finally, we apply this layer to a light and fast network that surpasses existing state-of-the-art networks.

연구 동기 및 목표

• 모바일 디바이스와 같은 자원 제약 환경에서 딥 컨벌루션 네트워크의 높은 계산 비용과 메모리 소비 문제를 해결하기 위해.
• 컨벌루션의 기본 구성 요소를 재고함으로써 정확도를 훼손하지 않은 채 모델 복잡도를 감소시키기 위해.
• 기존의 경량 네트워크에서 고정되거나 히우리스틱 방식으로 설정된 이동 할당을 대체할 수 있는 학습 가능한 이동 메커니즘을 제안하기 위해.
• 이동 파라미터를 종합적으로 학습함으로써 정확도-복잡도 트레이드오프를 향상시키기 위해.

제안 방법

• 표준 컨벌루션을 두 가지 연산으로 분해: 학습 가능한 이동 연산과 그 다음에 이어지는 1×1 포인트와이즈 컨벌루션.
• 이동량을 매개변수화하고 백프로파게이션을 통해 실수값 매개변수를 최적화하는 액티브 시프트 레이어(ASL)를 도입.
• 각 특징 맵 별로 동적으로 이동값을 결정하는 학습 가능한 함수를 사용하여 적응형 수용 영역 확장을 가능하게 한다.
• 잔차 네트워크 아키텍처 내에 ASL을 적용하여 경량화되고 빠르며 정확한 모델(AS-ResNet)을 구축한다.
• 이동 파라미터와 네트워크 가중치를 동시에 최적화하기 위해 종합적 학습을 적용함으로써 네트워크가 최적의 이동 분포를 학습할 수 있도록 한다.
• 이동 파라미터의 초기화 전략(예: 균일 또는 정규 분포)을 사용하여 학습 가능성과 실수값 이동의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 컨벌루션을 이동 연산과 1×1 컨벌루션으로 효과적으로 분해하여 계산 비용을 줄일 수 있는가?
• RQ2 히우리스틱 또는 고정된 이동 할당 방식에 비해 종합적 학습을 통한 이동 파라미터 학습이 성능 향상에 기여하는가?
• RQ3 학습 가능한 이동 메커니즘이 확장된 컨벌루션과 그룹 컨벌루션을 포함한 다양한 유형의 컨벌루션을 효과적으로 시뮬레이션할 수 있는가?
• RQ4 정수값 이동 뿐만 아니라 실수값 이동 파라미터를 사용할 경우 정확도와 효율성이 얼마나 향상되는가?
• RQ5 ASL로 구성된 네트워크가 기존의 경량 모델보다 더 적은 파라미터 수와 더 빠른 추론 속도로 최신 기술 수준의 정확도를 달성할 수 있는가?

주요 결과

• 액티브 시프트 레이어(ASL)는 342만 개의 파라미터와 729M FLOPs로 ImageNet에서 상위-1 정확도 72.2%를 달성했으며, 유사한 추론 시간 조건에서 MobileNetV2를 능가했다.
• 실수값 이동 파라미터 학습(TR)은 히우리스틱 그룹화 이동 방식(GS)에 비해 정확도를 4.3%p 향상시켰다. 이는 학습 가능성의 이점이 입증됨을 의미한다.
• 실수값 이동(SR)은 정수 샘플링(SI)에 비해 정확도를 2.1%p 향상시켰다. 이는 실수로의 확장이 성능 향상에 기여함을 보여준다.
• AS-ResNet-w32 모델은 90만 개의 파라미터와 171M FLOPs로 상위-1 정확도 64.1%를 달성했으며, 복잡도가 낮은 상황에서 ShiftNet과 SqueezeNet을 정확도 면에서 능가했다.
• 제안된 네트워크는 CPU에서 47.9ms, GPU에서 6.73ms의 시간이 소요되었으며, 추론 속도가 유사하거나 더 빠르면서도 정확도 면에서 MobileNetV2를 능가했다.
• 절단 분석 결과, 실수값 이동 영역과 이동 파라미터의 종합적 학습이 성능 향상에 핵심적인 역할을 했다.