[논문 리뷰] IamNN: Iterative and Adaptive Mobile Neural Network for Efficient Image Classification

Sam Leroux, Pavlo Molchanov외 4명|arXiv (Cornell University)|2018. 04. 26.

Advanced Neural Network Applications참고 문헌 10인용 수 23

한 줄 요약

IamNN는 잔차 블록 간의 파라미터 공유와 적응형 계산 시간(Adaptive Computation Time, ACT)을 결합하여 이미지 분류를 위한 경량이고 적응형 딥 뉴럴 네트워크를 제안한다. 이로 인해 모델 크기와 계산 비용을 크게 줄일 수 있으며, 경쟁 가능한 정확도를 유지할 수 있다. 아키텍처는 공유된 가중치를 사용한 반복적 정밀화를 통해 각 입력에 대해 추론 복잡도를 동적으로 조정한다. 이로 인해 ImageNet에서 파라미터 수를 90% 감소시키고, FLOPs를 최대 65%까지 줄일 수 있었으며, 상위 5개 정확도는 미미하게 떨어졌다.

ABSTRACT

Deep residual networks (ResNets) made a recent breakthrough in deep learning. The core idea of ResNets is to have shortcut connections between layers that allow the network to be much deeper while still being easy to optimize avoiding vanishing gradients. These shortcut connections have interesting side-effects that make ResNets behave differently from other typical network architectures. In this work we use these properties to design a network based on a ResNet but with parameter sharing and with adaptive computation time. The resulting network is much smaller than the original network and can adapt the computational cost to the complexity of the input image.

연구 동기 및 목표

• 모바일 및 엣지 장치에 적합한 딥 뉴럴 네트워크의 모델 크기와 계산 비용을 줄이기 위해.
• ResNets의 반복적 정밀화 행동을 활용하여 레이어 간에 파라미터를 공유할 수 있도록 하기 위해.
• 적응형 계산 시간(Adaptive Computation Time, ACT)을 사용하여 입력에 따라 계산량을 동적으로 조절함으로써, 간단한 이미지에 대해 FLOPs를 줄이기 위해.
• 극적인 모델 압축과 변동하는 계산량에도 불구하고 높은 정확도를 유지하기 위해.
• 다양한 이미지 복잡도에 걸쳐 공유된 블록을 사용한 반복적 정밀화가 강력하고 일반화 가능한 특징 표현을 이끌어내는지 탐색하기 위해.

제안 방법

• 각 ResNet 블록을 반복적으로 특징을 정밀화하는 데 동일한 가중치를 사용하는 단일 공유 처리 블록으로 대체한다.
• 상태 버퍼를 사용하여 특징 정밀화를 누적시키며, 초기값은 0으로 설정한다. 각 반복에서 처리 블록의 출력을 상태에 더한다.
• 각 반복 전에 원본 블록 입력과 현재 상태를 연결하여 입력 컨텍스트를 유지한다.
• 입력 복잡도에 따라 필요한 반복 횟수를 결정하는 적응형 계산 시간(Adaptive Computation Time, ACT) 메커니즘을 도입한다.
• ACT 구성 요소를 학습 가능한 게이트로 설정하여 반복 횟수를 제어하며, 반복 간의 가중치 합이 1이 되도록 보장한다.
• 처리 블록 내에서 버블넥 스타일의 1x1 및 3x3 컨볼루션을 사용하며, 배치 정규화와 ReLU 활성화 함수를 적용한다.

실험 결과

연구 질문

• RQ1 ResNet 유사 아키텍처에서 잔차 블록 간의 파라미터 공유가 모델 크기를 극적으로 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 적응형 계산 시간(Adaptive Computation Time, ACT)이 피드포워드 컨볼루션 네트워크에 효과적으로 적용되어 평균 FLOPs를 줄일 수 있는가?
• RQ3 공유된 가중치를 사용한 반복적 정밀화가 다양한 이미지 복잡도에서 강력하고 일반화 가능한 특징 표현을 이끌어낼 수 있는가?
• RQ4 파라미터 공유 및 적응형 네트워크의 성능은 표준 ResNet 및 MobileNet, ShuffleNet과 같은 다른 효율적 아키텍처와 비교해 어떻게 되는가?
• RQ5 네트워크가 입력 샘플당 계산량을 동적으로 조절하는 능력이 입력 이미지의 난이도와 얼마나 관련이 깊은가?

주요 결과

• CIFAR10과 CIFAR100에서 IamNN는 ResNet101 대비 파라미터 수를 90% 감소시켰으며, 각각 450만 개와 460만 개의 파라미터를 기록했다.
• CIFAR10에서 IamNN는 상위 1개 정확도 94.6%를 달성하여 ResNet101의 93.8%를 略히 초월했으며, 이는 가중치 공유에 의한 정규화 효과 때문일 것이다.
• CIFAR100에서 IamNN는 상위 1개 정확도 77.8%를 기록했으며, ResNet101의 79.3% 대비 1.5% 감소한 것으로, 더 큰 데이터셋에서는 상당한 성능 흐름이 발생함을 시사한다.
• ImageNet에서 IamNN는 파라미터 수를 90% 감소시켜 6000만에서 500만으로 줄였고, FLOPs는 평균적으로 115억에서 40억으로 65% 감소시켰으며, 상위 5개 정확도는 ResNet152의 93.3% 대비 89.0%를 기록했다.
• 네트워크는 이미지 복잡도에 따라 계산량을 조절한다. CIFAR10에서는 FLOPs가 0.7G에서 2G까지 변동하고, ImageNet에서는 2.5G에서 9G까지 변동한다.
• 각 블록당 단일 반복으로 제한된 경우, IamNN의 상위 5개 정확도는 83.2%로 떨어졌으며, 이는 반복적 정밀화가 성능 향상에 필수적임을 확인한다.