[논문 리뷰] Rethinking Bottleneck Structure for Efficient Mobile Network Design

Daquan Zhou, Qibin Hou외 3명|arXiv (Cornell University)|2020. 07. 05.

COVID-19 diagnosis using AI참고 문헌 43인용 수 14

한 줄 요약

이 논문은 효율적인 모바일 네트워크를 위한 새로운 사다리꼴 블록 아키텍처를 제안하며, 저차원 특징 공간에서 깊이지수 컨볼루션을 적용하는 기존의 버티컬 블록 설계를 재고한다. 이는 고차원 특징 공간에서 깊이지수 컨볼루션을 적용하고, 고차원 표현 간에 단순 연결(shortcut connection)을 사용함으로써 이루어진다. 이 방법은 350만 파라미터와 3억 FLOPs를 사용하여 ImageNet에서 74.02%의 top-1 정확도를 달성하며, 다양한 변형과 MobileNetV2를 1.7个百分点 이상 앞서며도 효율성을 유지한다.

ABSTRACT

The inverted residual block is dominating architecture design for mobile networks recently. It changes the classic residual bottleneck by introducing two design rules: learning inverted residuals and using linear bottlenecks. In this paper, we rethink the necessity of such design changes and find it may bring risks of information loss and gradient confusion. We thus propose to flip the structure and present a novel bottleneck design, called the sandglass block, that performs identity mapping and spatial transformation at higher dimensions and thus alleviates information loss and gradient confusion effectively. Extensive experiments demonstrate that, different from the common belief, such bottleneck structure is more beneficial than the inverted ones for mobile networks. In ImageNet classification, by simply replacing the inverted residual block with our sandglass block without increasing parameters and computation, the classification accuracy can be improved by more than 1.7% over MobileNetV2. On Pascal VOC 2007 test set, we observe that there is also 0.9% mAP improvement in object detection. We further verify the effectiveness of the sandglass block by adding it into the search space of neural architecture search method DARTS. With 25% parameter reduction, the classification accuracy is improved by 0.13% over previous DARTS models. Code can be found at: https://github.com/zhoudaquan/rethinking_bottleneck_design.

연구 동기 및 목표

• 저차원 특징 공간에서 깊이지수 컨볼루션을 적용하는 버티컬 블록이 모바일 네트워크 성능 저하를 유발한다는 문제를 해결하기 위해.
• 깊이지수 컨볼루션을 고차원 표현으로 이동시키는 것이 특징 학습과 모델 정확도 향상에 기여하는지 조사하기 위해.
• 기존 잔차 연결과 비교하여 고차원 특징 간의 단순 연결이 성능 향상에 기여하는지 평가하기 위해.
• 제안된 사다리꼴 블록이 모바일 환경에서 기존의 역전 잔차 블록과 표준 버티컬 블록을 능가할 수 있음을 입증하기 위해.

제안 방법

• 기존 버티컬 블록 순서를 뒤집는 사다리꼴 블록을 제안함: 깊이지수 컨볼루션을 차원 감소 이전의 고차원 특징 공간에 적용함.
• 공간적 및 채널 병합 정보를 유지하기 위해 깊이지수 컨볼루션 이전과 이후에 각각 포인트와이즈 컨볼루션 두 개를 사용함.
• 기울기 흐름과 특징 무결성을 유지하기 위해 고차원 표현 간의 단순 연결을 도입함.
• 깊이지수 컨볼루션을 저차원 블록이 아닌 고차원 블록에 배치한 수정된 잔차 블록 구조를 활용함.
• 다양한 컨볼루션 배치 및 단순 연결 구성에 대해 ImageNet에서 추론 실험을 통해 설계를 검증함.
• 신경망 아키텍처 탐색(NAS)에 사다리꼴 블록을 통합하여 DARTS를 사용하고, 표준 연산자들을 대체함으로써 일반화 능력과 성능 향상을 평가함.

실험 결과

연구 질문

• RQ1 저차원 특징 공간에 비해 고차원 특징 공간에 깊이지수 컨볼루션을 적용하는 것이 모바일 네트워크 버티컬 블록의 성능 향상에 기여하는가?
• RQ2 단순 연결이 고차원 또는 저차원 특징 간에 배치될 경우 모델 정확도와 특징 표현에 어떤 영향을 미치는가?
• RQ3 재설계된 버티컬 블록이 모바일 네트워크의 효율성과 정확도에서 표준 역전 잔차 블록을 능가할 수 있는가?
• RQ4 신경망 아키텍처 탐색 공간에 사다리꼴 블록을 통합할 경우 최종 아키텍처의 성능과 파라미터 효율성은 어느 정도 향상되는가?

주요 결과

• 제안된 사다리꼴 블록은 ImageNet에서 74.02%의 top-1 정확도를 달성하여 기준 모델인 MobileNetV2(72.3%)와 모든 변형을 뛰어넘었다.
• 저차원 공간에 깊이지수 컨볼루션을 적용한 변형(Figure S1(a))은 정확도가 68.90%로 떨어졌으며, 이는 고차원 특징 학습의 중요성을 확인한다.
• 버티컬 블록 내에 두 번째 깊이지수 컨볼루션을 추가한 변형(Figure S1(b))은 정확도가 70.11%로 향상되었지만 여전히 사다리꼴 블록에 뒤지지 않았다.
• 깊이지수 컨볼루션을 블록 내부로 이동시킨 변형(Figure S1(c))은 유사한 파라미터 수와 더 높은 FLOPs를 가졌음에도 불구하고 정확도가 69.26%에 머물렀으며, 이는 고차원 단순 연결이 더 유익함을 시사한다.
• DARTS 기반 NAS에 통합된 결과, 사다리꼴 블록은 CIFAR-10에서 테스트 오차를 2.98%로 줄였고, 파라미터 수는 245만 개에 불과하여 원본 DARTS와 역전 잔차 변형을 모두 능가했다.
• 추론 실험을 통해 두 핵심 설계 원칙인 고차원 단순 연결과 고차원 깊이지수 컨볼루션은 함께 성능 향상을 이끌어낸다.