[논문 리뷰] ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network.

Dongyoon Han, Sangdoo Yun외 2명|arXiv (Cornell University)|2020. 07. 02.

Advanced Neural Network Applications참고 문헌 41인용 수 27

한 줄 요약

이 논문은 특성 행렬의 질량 분석과 채널 구성 최적화를 통해 합성곱 신경망의 표현적 병목 현상을 줄이기 위한 ReXNet이라는 설계 원칙의 세트를 제안한다. 기준 네트워크에 이러한 원칙을 적용함으로써 저자들은 ImageNet, COCO 검출 및 전이 학습 벤치마크에서 뚜렷한 정확도 향상을 달성하였으며, 코드와 모델은 공개되었다.

ABSTRACT

This paper addresses representational bottleneck in a network and propose a set of design principles that improves model performance significantly. We argue that a representational bottleneck may happen in a network designed by a conventional design and results in degrading the model performance. To investigate the representational bottleneck, we study the matrix rank of the features generated by ten thousand random networks. We further study the entire layer's channel configuration towards designing more accurate network architectures. Based on the investigation, we propose simple yet effective design principles to mitigate the representational bottleneck. Slight changes on baseline networks by following the principle leads to achieving remarkable performance improvements on ImageNet classification. Additionally, COCO object detection results and transfer learning results on several datasets provide other backups of the link between diminishing representational bottleneck of a network and improving performance. Code and pretrained models are available at this https URL.

연구 동기 및 목표

• 깊은 네트워크에서 성능 저하의 근본 원인, 특히 표현적 병목 현상을 규명하는 것.
• 특성 행렬의 질량이 네트워크의 표현 능력에 미치는 영향을 분석하는 것.
• 표현적 병목 현상을 완화하는 데 효과적인 최적의 채널 구성 요건을 규명하는 것.
• 구조적 복잡성 없이도 모델 정확도를 향상시킬 수 있는 단순하고 효과적인 설계 원칙을 개발하는 것.
• ImageNet 분류, COCO 검출 및 전이 학습을 포함한 다양한 벤치마크에서 제안된 원칙을 검증하는 것.

제안 방법

• 저자들은 네트워크를 수천 개 무작위로 초기화한 후 특성의 행렬 질량을 분석하여 표현 능력을 연구한다.
• 층별 채널 구성이 네트워크 성능 및 표현 품질에 미치는 영향을 조사한다.
• 실험적 분석을 바탕으로 균형 잡히고 충분한 채널 차원을 우선시하는 설계 원칙을 도출한다.
• 이 원칙들은 최소한의 구조적 변경으로 기준 네트워크에 적용되며, 주로 채널 스케일링과 층 구성에 중점을 둔다.
• 정확도 평가는 분류 작업을 위한 ImageNet, 객체 검출을 위한 COCO, 그리고 전이 학습을 위한 여러 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 기본 합성곱 신경망에서 표현적 병목 현상은 무엇에 기인하는가?
• RQ2 특성 맵의 행렬 질량은 네트워크 성능과 어떻게 관련이 있는가?
• RQ3 합성곱 층에서 어떤 채널 구성이 표현적 병목 현상을 가장 효과적으로 줄이는가?
• RQ4 표현 능력 분석에 기반한 단순한 구조 조정이 모델 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ5 표현적 병목 현상을 줄이면 다양한 비전 작업 전반에서 일관된 성능 향상이 이루어지는가?

주요 결과

• 1만 개의 무작위 네트워크에서 유도된 특성의 행렬 질량 분석 결과, 표현적 병목 현상이 성능 저하의 핵심 원인임을 규명하였다.
• 표현 능력에 기반한 채널 구성 최적화는 모델 복잡도를 증가시키지 않으면서도 ImageNet에서 뚜렷한 정확도 향상을 이끌어냈다.
• 제안된 설계 원칙은 COCO 객체 검출 작업에서도 뚜렷한 성능 향상을 이끌어내어 분류 작업을 넘어선 일반화 능력을 입증하였다.
• 여러 데이터셋에서의 전이 학습 결과는 표현적 병목 현상을 줄임으로써 특성의 전이 가능성 향상이 이루어짐을 확인하였다.
• 기준 네트워크에 원칙을 적용한 약간의 수정만으로도 파rameter 수 증가율이 미미한 수준에서 ImageNet에서 최고 성능을 달성하였다.
• 코드와 사전 학습된 모델은 공개되어 있어 재현성과 향후 연구를 가능하게 하였다.