[논문 리뷰] Binarized Neural Networks on the ImageNet Classification Task

Xundong Wu, Yong Wu외 1명|arXiv (Cornell University)|2016. 04. 11.

Advanced Neural Network Applications참고 문헌 11인용 수 18

한 줄 요약

이 논문은 13층 네트워크를 사용하여 ImageNet ILSVRC-2012 검증 세트에서 84.1%의 상위-5 정확도를 달성하는 새로운 이진화 신경망(BNN) 아키텍처와 학습 전략을 제안한다. 넓은 초기 레이어, 저학습률을 통한 가중치 적응 안정화, 사전 훈련된 잔차 네트워크로부터의 소프트 타겟을 활용한 네트워크 딜리게이션을 통해 이전 연구를 뛰어넘는 BNN 성능 향상을 달성한다.

ABSTRACT

We trained Binarized Neural Networks (BNNs) on the high resolution ImageNet ILSVRC-2102 dataset classification task and achieved a good performance. With a moderate size network of 13 layers, we obtained top-5 classification accuracy rate of 84.1 % on validation set through network distillation, much better than previous published results of 73.2% on XNOR network and 69.1% on binarized GoogleNET. We expect networks of better performance can be obtained by following our current strategies. We provide a detailed discussion and preliminary analysis on strategies used in the network training.

연구 동기 및 목표

• 이미지 분류 과제에서 고해상도 ImageNet에서의 BNN 성능 향상을 위해 이전 연구에서 낮은 정확도로 제한되었던 문제를 해결한다.
• 이진화 네트워크에서의 정보 블로킹 문제를 해결하기 위해 초기 레이어를 넓게 설계하면서도 이진 계산 효율성을 유지하는 아키텍처를 설계한다.
• 가중치 적응 행동을 분석하고 적절한 학습률을 선택하여 훈련 동역학을 최적화한다.
• 사전 훈련된 50층 잔차 네트워크로부터의 소프트 레이블을 사용한 네트워크 딜리게이션을 통해 모델 정확도를 향상시킨다.
• 최소한의 계산 오버헤드로 고정확도 BNN을 훈련시킬 수 있음을 보여주어 자원 제약이 있는 장치에의 구현 가능성을 입증한다.

제안 방법

• 정보 블로킹을 방지하기 위해 첫 두 스테이지에서 더 넓은 컨볼루션 레이어를 갖춘 13층 BNN을 설계하였으며, 나머지 네트워크는 효율성을 위해 이진화 유지한다.
• 이진화가 깊은 레이어에서 이루어지기 이전에 저수준 이미지 특징을 더 잘 포착하기 위해 실수값 가중치를 갖는 비이진 첫 번째 컨볼루션 레이어를 사용한다.
• 가중치 분포 동역학 분 析를 통해 0.001의 저학습률을 선택하였으며, 이는 더 매끄러운 가중치 전이와 더 빠른 수렴을 가능하게 하여 고학습률 대비 우수한 성능을 보였다.
• 실수값 내부 가중치를 유지하면서도 훈련 중에 이진 합성 상태를 유지하기 위해 가중치 클리핑을 적용한 확률적 경사 하강법(SGD)을 사용한다.
• 사전 훈련된 50층 잔차 네트워크로부터 생성된 소프트 타겟을 기반으로 BNN을 훈련시켜 네트워크 딜리게이션을 적용하였으며, 소프트 타겟과 하드 타겟을 결합하여 일반화 성능을 향상시켰다.
• 딜리게이션 및 추론 중 출력 확률의 안정성을 확보하기 위해 최종 소프트맥스 이전에 고정 스케일링 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 아키텍처 및 훈련 수정을 통해 ImageNet ILSVRC-2012 데이터셋에서 BNN이 높은 정확도를 달성할 수 있는가?
• RQ2 학습률 선택이 ImageNet에서 훈련되는 BNN의 가중치 적응 및 수렴 속도에 미치는 영향은 무엇인가?
• RQ3 더 넓은 초기 레이어를 사용함으로써 이진화 네트워크에서의 정보 블로킹 문제를 해결할 수 있으며, 계산 효율성 손실 없이도 가능할까?
• RQ4 사전 훈련된 50층 잔차 네트워크로부터의 소프트 레이블을 사용한 네트워크 딜리게이션은 중간 크기의 BNN이 ImageNet에서 성능을 크게 향상시킬 수 있는가?
• RQ5 딜리게이션 중 소프트 타겟과 하드 타겟을 함께 사용할 경우 BNN의 최종 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 수정된 아키텍처와 넓은 초기 레이어, 저학습률을 사용한 13층 BNN은 ImageNet 검증 세트에서 80.2%의 상위-5 정확도를 달성하였다.
• 학습률 0.001은 0.01보다 더 균일한 가중치 분포와 더 빠른 수렴을 이끌었으며, 0.01은 ±1 사이를 진동하며 악화된 학습 동역학을 유발하였다.
• 사전 훈련된 50층 잔차 네트워크로부터의 소프트 타겟을 사용한 네트워크 딜리게이션 덕분에 BNN은 84.1%의 상위-5 정확도를 달성하였으며, 이는 이전 BNN(예: XNOR-Net의 73.2%)를 크게 뛰어넘는 성능이었다.
• 소프트 타겟만으로는 성능 향상이 없었지만, 소프트 타겟과 하드 타겟을 조합함으로써 상당한 정확도 향상이 이루어졌으며, 하이브리드 감독의 유용성을 확인하였다.
• 제안된 아키텍처와 훈련 전략는 고성능을 유지하면서도 높은 계산 효율성을 확보하였으며, ImageNet에서 BNN의 최신 기술 수준을 달성하였다. 이는 더 큰 모델이나 다중 해상도 테스트를 통해 향후 성능 향상이 가능할 수 있음을 시사한다.