[논문 리뷰] Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation

Andrew Howard, Andrey Zhmoginov외 3명|arXiv (Cornell University)|2018. 01. 13.

Advanced Neural Network Applications참고 문헌 8인용 수 712

한 줄 요약

이 논문은 이동 기기 최적화된 신경망 아키텍처인 MobileNetV2를 소개한다. 이는 반전 잔차(connection)과 선형 보틀넥을 특징으로 하여 정확도를 향상시키면서도 계산 비용을 감소시킨다. 깊이 분리형 컨볼루션을 사용하고 좁은 보틀넥 레이어에서 비선형성을 제거함으로써 MobileNetV2는 파라미터 수와 곱셈-덧셈 연산 수(MAdd)를 줄이며 ImageNet, COCO 객체 검출, VOC 세그멘테이션에서 최신 기준 성능을 달성한다.

ABSTRACT

In this paper we describe a new mobile architecture, MobileNetV2, that improves the state of the art performance of mobile models on multiple tasks and benchmarks as well as across a spectrum of different model sizes. We also describe efficient ways of applying these mobile models to object detection in a novel framework we call SSDLite. Additionally, we demonstrate how to build mobile semantic segmentation models through a reduced form of DeepLabv3 which we call Mobile DeepLabv3. The MobileNetV2 architecture is based on an inverted residual structure where the input and output of the residual block are thin bottleneck layers opposite to traditional residual models which use expanded representations in the input an MobileNetV2 uses lightweight depthwise convolutions to filter features in the intermediate expansion layer. Additionally, we find that it is important to remove non-linearities in the narrow layers in order to maintain representational power. We demonstrate that this improves performance and provide an intuition that led to this design. Finally, our approach allows decoupling of the input/output domains from the expressiveness of the transformation, which provides a convenient framework for further analysis. We measure our performance on Imagenet classification, COCO object detection, VOC image segmentation. We evaluate the trade-offs between accuracy, and number of operations measured by multiply-adds (MAdd), as well as the number of parameters

연구 동기 및 목표

• 자원 제약이 있는 환경에서 더 효율적이고 정확한 이동 기기 신경망 아키텍처를 개발하기 위해.
• 이동 기기 플랫폼에서 분류, 객체 검출, 세분화 작업 전반에 걸쳐 성능을 향상시키기 위해.
• 곱셈-덧셈 연산 수(MAdd)와 모델 파라미터 수를 줄이되 정확도를 훼손하지 않도록 계산 비용을 최소화하기 위해.
• 입력/출력 도메인과 변환 표현력 사이의 분리가 모델 분석에 유리한 아키텍처 설계 선택지를 제공하는지 탐색하기 위해.

제안 방법

• 기존의 잔차 네트워크가 특징을 조기에 확장하는 것과는 대조적으로, 입력과 출력에서 얇은 보틀넥 레이어를 가지는 반전 잔차 블록 아키텍처를 제안한다.
• 중간 확장 레이어에서 깊이 분리형 컨볼루션을 활용하여 계산을 줄이고 효율적으로 특징을 필터링한다.
• 좁은 보틀넥 레이어에서 비선형 활성화 함수를 제거하여 표현 능력을 유지하고 특징 학습을 향상시킨다.
• 최종 프로젝션에서 선형 변환을 사용하는 선형 보틀넥 설계를 도입하여 특징의 무결성을 유지한다.
• 이동 기기 우수 설계 원칙을 통합한 새로운 프레임워크인 SSDLite를 활용해 MobileNetV2 아키텍처를 객체 검출에 적용한다.
• 심화된 DeepLabv3의 축소된 형태인 Mobile DeepLabv3를 사용하여 세분화 작업에 아키텍처를 적응시킨다.

실험 결과

연구 질문

• RQ1 어떻게 하면 FLOPs와 파라미터 수를 줄이며 높은 정확도를 달성하는 이동 기기 신경망 아키텍처를 설계할 수 있는가?
• RQ2 어떤 아키텍처 구성 요소가 자원이 제한된 환경에서 효율적인 특징 표현을 가능하게 하는가?
• RQ3 왜 보틀넥 레이어에서 비선형성을 제거하면 이동 기기 모델의 성능 향상에 기여하는가?
• RQ4 반전 잔차 아키텍처와 선형 보틀넥을 사용하면 분류, 검출, 세그멘테이션과 같은 다양한 비전 작업에 일반화될 수 있는가?
• RQ5 입력/출력 도메인과 변환 표현력 사이의 분리를 어떻게 적용하면 모델 성능과 설계의 유연성이 향상되는가?

주요 결과

• MobileNetV2는 3,000만 개 미만의 곱셈-덧셈 연산 수(MAdd)로 ImageNet 분류에서 최신 기준 성능을 달성한다.
• 모델은 단지 250만 개의 파라미터와 300M MAdd로 ImageNet에서 71.2%의 top-1 정확도를 달성하며 이전의 이동 기기 모델을 능가한다.
• MobileNetV2 기반의 SSDLite는 저연산량과 소형 모델 크기를 확보하면서도 경쟁력 있는 COCO 객체 검출 성능을 보인다.
• 경량 세그멘테이션 변형인 Mobile DeepLabv3는 최소한의 계산 비용으로 VOC 세그멘테이션에서 뛰어난 성능을 보였다.
• 보틀넥 레이어에서 비선형성을 제거함으로써 표현 능력이 향상되고 모든 평가된 작업에서 정확도 향상이 측정되었다.
• 반전 잔차 아키텍처와 선형 보틀넥을 통해 더 나은 특징 학습과 효율적인 파라미터 활용이 가능해졌으며, 이는 이동 기기 및 엣지 디바이스에의 배포에 적합하다.