[논문 리뷰] MUXConv: Information Multiplexing in Convolutional Neural Networks

Zhichao Lu, Kalyanmoy Deb외 1명|arXiv (Cornell University)|2020. 03. 31.

Advanced Neural Network Applications참고 문헌 51인용 수 5

한 줄 요약

MUXConv는 공간 및 채널 차원 간의 정보 흐름을 공간 및 채널 멀티플렉싱을 통해 향상시켜 효율적이고 컴act하며 정확한 모델을 가능하게 하는 새로운 컨볼루션 레이어를 도입한다. MUXNets는 MUXConv를 기반으로 하며 다중 목적 유전 알고리즘을 통해 검색된 것으로, ImageNet에서 MobileNetV3와 동일한 정확도(75.3% top-1)와 FLOPs(218M)를 달성하면서도 1.6× 더 컴팩트하며, ImageNet, ChestX-Ray14, PASCAL VOC 2007에서 정확도, 효율성, 컴팩트성 측면에서 다른 모바일 모델을 능가한다.

ABSTRACT

Convolutional neural networks have witnessed remarkable improvements in computational efficiency in recent years. A key driving force has been the idea of trading-off model expressivity and efficiency through a combination of $1 imes 1$ and depth-wise separable convolutions in lieu of a standard convolutional layer. The price of the efficiency, however, is the sub-optimal flow of information across space and channels in the network. To overcome this limitation, we present MUXConv, a layer that is designed to increase the flow of information by progressively multiplexing channel and spatial information in the network, while mitigating computational complexity. Furthermore, to demonstrate the effectiveness of MUXConv, we integrate it within an efficient multi-objective evolutionary algorithm to search for the optimal model hyper-parameters while simultaneously optimizing accuracy, compactness, and computational efficiency. On ImageNet, the resulting models, dubbed MUXNets, match the performance (75.3% top-1 accuracy) and multiply-add operations (218M) of MobileNetV3 while being 1.6$ imes$ more compact, and outperform other mobile models in all the three criteria. MUXNet also performs well under transfer learning and when adapted to object detection. On the ChestX-Ray 14 benchmark, its accuracy is comparable to the state-of-the-art while being $3.3 imes$ more compact and $14 imes$ more efficient. Similarly, detection on PASCAL VOC 2007 is 1.2% more accurate, 28% faster and 6% more compact compared to MobileNetV2. Code is available from https://github.com/human-analysis/MUXConv

연구 동기 및 목표

• 깊이 분리형 및 1×1 컨볼루션에서 발생하는 공간 및 채널 상호작용의 비최적화된 정보 흐름을 해결하기 위해.
• 공간 및 채널 간의 특징 상호작용을 복원하고 향상시키는 계산적으로 효율적인 컨볼루션 레이어를 설계하기 위해.
• 정확도, 모델 컴팩트성, 계산 효율성을 동시에 최적화하는 다중 목적 신경망 아키텍처 검색(NAS) 프레임워크를 개발하기 위해.
• 이전 모델들과의 비교를 위해 ImageNet, ChestX-Ray14, PASCAL VOC 2007, ADE20K 등의 다양한 벤치마크에서 전이 학습 및 세그멘테이션 작업을 수행하여 MUXNets의 성능을 평가하기 위해.
• 모바일 CNN 설계에서 효율성과 정확도를 확보하기 위해 컴팩트성의 희생 없이도 가능하다는 것을 입증하기 위해.

제안 방법

• MUXConv는 공간 분할 및 복원을 통해 다중 스케일 특징을 추출한 후에 깊이 분리형 또는 그룹형 컨볼루션을 적용한다.
• 채널 멀티플렉싱은 ShuffleNet의 영감을 받아 채널 간 정보 흐름을 가능하게 하는 채널 분할 메커니즘을 사용하여 깊이 분리형 컨볼루션의 한계를 극복한다.
• 학습 가능한 분할 연산을 깊이 분리형/그룹형 컨볼루션과 통합하여 계산 효율성을 유지하면서 표현 능력을 향상시킨다.
• 정확도, FLOPs, 모델 크기를 동시에 최적화하기 위해 최적의 MUXConv 하이퍼파rameter(G: 그룹 수, L: 생략 비율)를 탐색하기 위해 인구 기반 다중 목적 유전 알고리즘을 사용한다.
• 다중 목적 문제를 단일 목적 하위 문제로 분해하여 협력적으로 해결함으로써 효율성과 수렴 속도를 향상시킨다.
• 최종적으로 생성된 MUXNets는 이미지 분류, 객체 검출, 세그멘테이션, 전이 학습 등의 작업을 다양한 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 계산 비용 증가 없이 공간 및 채널 차원 간의 정보 흐름을 향상시킬 수 있는 컨볼루션 레이어를 설계할 수 있는가?
• RQ2 기존 아키텍처와 비교해 상당히 더 작은 모델 크기를 유지하면서도 최신 기술 성능(SOTA)의 정확도와 효율성을 달성할 수 있는가?
• RQ3 다중 목적 NAS 프레임워크는 모바일 모델 설계에서 정확도, 컴팩트성, 계산 효율성을 효과적으로 균형 잡을 수 있는가?
• RQ4 기존 모바일 모델들과 비교해 MUXNet은 분포 이탈 및 모델 강건성 평가에서 어떻게 성능을 보이는가?
• RQ5 MUXNets는 전이 학습 및 세그멘테이션과 같은 밀도 예측 작업에서 얼마나 잘 일반화되는가?

주요 결과

• ImageNet에서 MUXNet은 75.3% top-1 정확도와 218M FLOPs를 달성하여 MobileNetV3와 동일한 성능을 보였지만, 모델 크기는 1.6× 더 작다.
• ChestX-Ray14에서 MUXNet은 최신 기술 성능(SOTA)의 정확도를 달성했으며, 이전 모델보다 3.3× 더 컴팩트하고 14× 더 계산 효율성이 높다.
• PASCAL VOC 2007 객체 검출에서 MUXNet은 MobileNetV2보다 1.2% 더 정확하고, 28% 더 빠르며, 6% 더 컴팩트하다.
• ADE20K에서의 세그멘테이션 작업에서 MUXNet-m는 PPM 헤드를 사용해 35.80% mIoU와 0.2B FLOPs를 기록했으며, 효율성 측면에서 MobileNetV2를 능가하면서도 경쟁 가능한 정확도를 유지한다.
• ImageNet-V2와 ImageNet-C에서 MUXNet-m는 강력한 일반화 능력과 강건성을 보였으며, 분포 이탈 및 오염 상황에서도 경쟁 가능한 성능을 유지한다.
• 정성 분석을 통해 MUXNet-m가 ChestX-Ray14에서 지도된 영역과 일치하는 분류 특화 활성화 맵을 학습하는 것으로 확인되었다.