[논문 리뷰] Learning Architectures for Binary Networks

Dahyun Kim, Kunal Pratap Singh외 1명|arXiv (Cornell University)|2020. 02. 17.

Advanced Neural Network Applications참고 문헌 55인용 수 5

한 줄 요약

이 논문은 이산화에 강건한 레이어 유형과 Zeroise 레이어를 포함하는 재설계된 셀 템플릿을 포함한 새로운 탐색 공간을 정의하여, 이산화 신경망을 위한 최초의 아키텍처 탐색 방법인 BNAS를 제안한다. 다양성 정규화된 탐색 목적함수를 도입하여 학습을 안정화시키고, 동일한 FLOP 예산 내에서 CIFAR-10과 ImageNet에서 최신 기술을 능가하는 이산화 아키텍처를 발견한다.

ABSTRACT

Backbone architectures of most binary networks are well-known floating point architectures such as the ResNet family. Questioning that the architectures designed for floating point networks would not be the best for binary networks, we propose to search architectures for binary networks (BNAS) by defining a new search space for binary architectures and a novel search objective. Specifically, based on the cell based search method, we define the new search space of binary layer types, design a new cell template, and rediscover the utility of and propose to use the Zeroise layer instead of using it as a placeholder. The novel search objective diversifies early search to learn better performing binary architectures. We show that our proposed method searches architectures with stable training curves despite the quantization error inherent in binary networks. Quantitative analyses demonstrate that our searched architectures outperform the architectures used in state-of-the-art binary networks and outperform or perform on par with state-of-the-art binary networks that employ various techniques other than architectural changes.

연구 동기 및 목표

• 부동소수점 백본 아키텍처를 이산화 가중치와 활성화에 그대로 재사용하는 기존 이산화 네트워크의 열악한 성능을 해결하기 위해.
• 이산화 오차와 기울기 불안정성을 고려할 때 아키텍처 탐색이 더 나은 성능을 보이는 이산화 네트워크 아키텍처를 발견할 수 있는지 조사하기 위해.
• 깊이분리형 컬러네이션 등 높은 이산화 오차에 취약한 레이어를 제외하고 Zeroise 레이어와 같은 유용한 구성요소를 포함하는, 이산화 네트워크 전용으로 설계된 탐색 공간을 설계하기 위해.
• 초기 탐색 단계에서 다양한 레이어 유형을 탐색하도록 유도하는 다양성 정규화를 포함한 새로운 탐색 목적함수를 개발하기 위해.
• 고급 훈련 기법이나 이산화 방법에 의존하지 않고도 아키텍처 탐색을 통해 최신 기술을 능가하는 이산화 네트워크를 도출할 수 있는지 입증하기 위해.

제안 방법

• 이산화 오차가 높아서 부적합한 깊이분리형 컬러네이션을 제외하고 Zeroise 레이어를 학습 가능한 구성요소로 포함하는 이산화 네트워크 전용 신규 탐색 공간을 제안한다.
• 이산화 이산화로 인한 기울기 문제를 완화하고 학습을 안정화시키기 위해 셀 간 스킵 연결을 포함하는 새로운 셀 템플릿을 설계한다.
• 초기 탐색 단계 동안 다양한 레이어 유형의 탐색을 장려하는 다양성 정규화를 포함한 새로운 탐색 목적함수를 도입한다.
• 이중화 아키텍처 탐색 프레임워크를 기반으로 하되, 탐색 공간은 이산화 레이어 유형과 연결에 따라 정의된다.
• 모든 실험에서 XNOR-Net 이산화 기법을 사용하여 아키텍처 탐색의 영향을 다른 개선 사항과 분리한다.
• CIFAR-10과 ImageNet에서 다양한 FLOP 예산 조건 하에 탐색된 아키텍처를 훈련하고 평가하여 일반화 능력과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 이산화 네트워크 전용으로 설계된 탐색 공간이 부동소수점 네트워크에서 유도된 아키텍처보다 더 나은 성능을 내는가?
• RQ2 Zeroise 레이어를 자리표시자로 취급하는 것보다 학습 가능한 구성요소로 포함할 경우 이산화 네트워크 성능이 향상되는가?
• RQ3 다양성 정규화된 탐색 목적함수는 이산화 오차가 존재하는 상황에서도 학습을 안정화시키고 더 나은 이산화 네트워크 아키텍처를 도출할 수 있는가?
• RQ4 동일한 FLOP 제약 조건 하에서 탐색된 이산화 아키텍처가 수작업 설계 또는 최신 기술의 이산화 네트워크를 능가하는가?
• RQ5 아키텍처 탐색의 성능 향상만으로도 고급 이산화 기법이나 훈련 기법에 의존하는 방법을 능가할 수 있는가?

주요 결과

• 제안된 BNAS 방법은 약 0.27 GFLOPs의 FLOP로 CIFAR-10에서 92.70%의 테스트 정확도를 달성하여 최신 기술인 BinaryNet(89.95%)과 PCNN(94.31%는 비이산화 다운샘플링 조건에서만 달성)를 능가한다.
• BNAS-Mini는 약 0.16 GFLOPs로 CIFAR-10에서 90.12%의 정확도를 기록하여 WideResNet40 기반 모델 외에는 모든 이산화 네트워크를 능가한다.
• ImageNet에서 BNAS-D는 약 1.63 GFLOPs로 Top-1 정확도 57.69%, Top-5 정확도 79.89%를 달성하여 동일한 백본에서 BinaryNet(42.20%)과 ABC-Net(42.70%)를 모두 능가한다.
• 절단 실험 결과, 셀 간 스킵 연결을 제거하면 학습이 붕괴되며, Zeroise 레이어나 다양성 정규화를 제외할 경우 정확도가 크게 떨어진다.
• 다양성 정규화는 탐색 성능에 의미 있는 기여를 하며, 모든 구성요소를 포함한 전체 BNAS 모델(BNAS-C)은 CIFAR-10에서 94.43%의 정확도를 기록한 반면, 정규화 없이 구현한 경우는 92.66%에 그친다.
• 결과는 아키텍처 개선만으로도 뛰어난 성능 향상을 이끌 수 있음을 보여주며, BNAS-F는 ImageNet에서 58.99%의 Top-1 정확도를 기록하여 FLOP 효율성을 고려할 경우 Bi-Real Net34(62.20%)를 초과하는 정확도를 달성한다.