[논문 리뷰] Merging and Evolution: Improving Convolutional Neural Networks for Mobile Applications

Zheng Qin, Zhaoning Zhang외 3명|arXiv (Cornell University)|2018. 03. 24.

Advanced Neural Network Applications참고 문헌 25인용 수 3

한 줄 요약

이 논문은 모바일 애플리케이션을 위한 컴act한 컨볼루션 신경망 가족인 MENet과 Merging-and-Evolution (ME) 모듈을 제안한다. 상호 그룹 간 특징 정보를 인코딩하기 위해 머지(Merging)를 도입하고, 공간 패턴을 추출하기 위해 진화(Evolution)를 적용함으로써, 그룹 컨볼루션에서 발생하는 성능 저하를 크게 감소시켰다. 이로 인해 계산 예산이 매우 제한된 조건에서도 최신 기술 수준의 정확도를 달성하였으며, 140 MFLOPs에서 PASCAL VOC 2007 mAP 기준으로 ShuffleNet과 MobileNet을 각각 최대 4.1% 초월한다.

ABSTRACT

Compact neural networks are inclined to exploit "sparsely-connected" convolutions such as depthwise convolution and group convolution for employment in mobile applications. Compared with standard "fully-connected" convolutions, these convolutions are more computationally economical. However, "sparsely-connected" convolutions block the inter-group information exchange, which induces severe performance degradation. To address this issue, we present two novel operations named merging and evolution to leverage the inter-group information. Our key idea is encoding the inter-group information with a narrow feature map, then combining the generated features with the original network for better representation. Taking advantage of the proposed operations, we then introduce the Merging-and-Evolution (ME) module, an architectural unit specifically designed for compact networks. Finally, we propose a family of compact neural networks called MENet based on ME modules. Extensive experiments on ILSVRC 2012 dataset and PASCAL VOC 2007 dataset demonstrate that MENet consistently outperforms other state-of-the-art compact networks under different computational budgets. For instance, under the computational budget of 140 MFLOPs, MENet surpasses ShuffleNet by 1% and MobileNet by 1.95% on ILSVRC 2012 top-1 accuracy, while by 2.3% and 4.1% on PASCAL VOC 2007 mAP, respectively.

연구 동기 및 목표

• 그룹 컨볼루션과 딥웨이즈 컨볼루션에서 발생하는 상호 그룹 간 정보 손실로 인한 컴팩트한 CNN의 성능 저하 문제를 해결한다.
• 계산 비용을 증가시키지 않고도 채널 그룹 간 특징 융합을 가능하게 하는 효율적인 아키텍처 연산을 개발한다.
• 이동형 배포를 위한 엄격한 FLOP 제약 조건에서도 높은 정확도를 유지하는 새로운 신경망 아키텍처 MENet을 설계한다.
• 특히 객체 검출 작업에서의 전이 학습 시나리오에서의 일반화 능력을 향상시킨다.
• 채널 그룹 수를 늘릴수록 수익 감소 현상이 발생하는 기존 방법(예: ShuffleNet)의 한계를 극복한다.

제안 방법

• 머지 연산은 동일한 공간 위치에 있는 모든 채널의 특징을 좁은 특징 맵으로 통합하여 상호 그룹 간 정보를 인코딩한다.
• 진화 연산은 머지된 좁은 특징 맵에서 공간 패턴을 추출하기 위해 딥웨이즈 및 포인트와이즈 컨볼루션을 적용한다.
• ME 모듈은 머지와 진화를 하나의 잔차 유사 블록으로 통합하며, 계산 효율성을 확보하기 위해 딥웨이즈 및 그룹 컨볼루션을 사용한다.
• 특징 융합은 덧셈 대신 요소별 곱셈(스케일링)을 통해 수행되어 더 효과적인 상호 그룹 표현 학습이 가능하다.
• ME 모듈은 채널 수가 후행 단계에서 증가하도록 계층적 네트워크 아키텍처로 스택된다. 이는 표현 능력을 향상시키기 위함이다.
• 사전 학습된 MENet 모델은 RoI 어ライン을 사용한 Faster R-CNN를 통해 객체 검출 작업에서 전이 학습을 위해 미세 조정된다.

실험 결과

연구 질문

• RQ1 그룹 및 딥웨이즈 컨볼루션에 의존하는 컴팩트한 CNN에서 상호 그룹 간 정보를 효과적으로 복구할 수 있는 방법은 무엇인가?
• RQ2 상호 그룹 특징 융합에서 요소별 덧셈을 요소별 곱셈으로 대체할 경우 성능에 어떤 영향을 미치는가?
• RQ3 기존의 ShuffleNet의 채널 셔플과 비교했을 때, 제안된 ME 모듈은 정확도와 효율성 측면에서 어떻게 성과를 내는가?
• RQ4 MENet은 낮은 FLOP 예산 조건에서도 객체 검출과 같은 후행 작업에 잘 일반화되는가?
• RQ5 MENet에서 채널 그룹 수를 늘릴 경우, ShuffleNet과 달리 일관된 성능 향상이 이루어지는가?

주요 결과

• 140 MFLOPs에서 MENet은 ILSVRC 2012에서 65.9%의 top-1 정확도를 달성하였으며, ShuffleNet(64.9%)보다 1% 높고, MobileNet(63.95%)보다 1.95% 높다.
• PASCAL VOC 2007 객체 검출에서 MENet은 140 MFLOPs에서 58.9%의 mAP를 기록하여, ShuffleNet(56.6%)보다 2.3% 높고, MobileNet(54.8%)보다 4.1% 높다.
• 'boat' 클래스와 같은 도전적인 클래스에서 MENet은 140 MFLOPs에서 ShuffleNet 대비 6.9% 높고, MobileNet 대비 4.2% 높은 mAP를 기록한다.
• 550 MFLOPs에서 MENet은 mAP 기준으로 ShuffleNet보다 2% 높고, MobileNet보다 3.1% 높다. 이는 다양한 예산 조건에서도 일관된 성능 향상을 보여준다.
• 채널 수가 4일 때 요소별 곱셈을 사용하면 요소별 덧셈보다 1.05% 높은 정확도를 기록하여, 더 나은 표현 학습 능력을 입증한다.
• ShuffleNet과 달리 MENet은 채널 그룹 수를 늘릴수록 성능 저하 없이 성능 향상을 유지한다.