[논문 리뷰] Rethinking Differentiable Search for Mixed-Precision Neural Networks

Zhaowei Cai, Nuno Vasconcelos|arXiv (Cornell University)|2020. 04. 13.

Advanced Neural Network Applications참고 문헌 39인용 수 11

한 줄 요약

이 논문은 Inception-V3와 같은 대규모 모델에 대해 ImageNet에서 직접, 프oxy 없이 검색이 가능한 효율적인 미분 가능 검색 프레임워크인 EdMIPS를 제안한다. 제약 조건이 있는 라그랑주 최적화, 단일 패assing 학습 전략, 그리고 효율적인 복합 컨볼루션을 통해 EdMIPS는 검색 공간 크기에 관계없이 일정한 학습 복잡도를 유지하면서도 균일한 저해상도 기준보다 뛰어난 정확도를 달성한다.

ABSTRACT

Low-precision networks, with weights and activations quantized to low bit-width, are widely used to accelerate inference on edge devices. However, current solutions are uniform, using identical bit-width for all filters. This fails to account for the different sensitivities of different filters and is suboptimal. Mixed-precision networks address this problem, by tuning the bit-width to individual filter requirements. In this work, the problem of optimal mixed-precision network search (MPS) is considered. To circumvent its difficulties of discrete search space and combinatorial optimization, a new differentiable search architecture is proposed, with several novel contributions to advance the efficiency by leveraging the unique properties of the MPS problem. The resulting Efficient differentiable MIxed-Precision network Search (EdMIPS) method is effective at finding the optimal bit allocation for multiple popular networks, and can search a large model, e.g. Inception-V3, directly on ImageNet without proxy task in a reasonable amount of time. The learned mixed-precision networks significantly outperform their uniform counterparts.

연구 동기 및 목표

• 모든 필터에 동일한 비트 폭를 적용하는 균일한 저정밀도 네트워크의 성능 저하 문제를 해결하기 위해, 필터 감도의 다양성에 따라 비트 폭를 다르게 적용할 수 있도록 한다.
• 분포 및 레이어 중요도의 차이로 인해 효과가 떨어지는 CIFAR-10과 같은 프록시 작업이 필요 없는 혼합 정밀도 네트워크 검색을 위한 미분 가능 검색 방법을 개발한다.
• 항상 최고의 비트 폭를 선택하는 비현실적인 해를 방지하기 위해, 라그랑주 풀이를 통한 복잡도 예산을 도입한다.
• 병렬 컨볼루션을 효율적인 복합 컨볼루션으로 대체하여 혼합 정밀도 검색의 학습 비용을 줄이고, 검색 공간 크기에 영향을 받지 않는 일정한 복잡도를 확보한다.
• Inception-V3와 ResNet-50와 같은 대규모 모델을 ImageNet에서 합리적인 시간과 메모리 제약 내에서 직접 검색할 수 있도록 한다.

제안 방법

• DARTS에 영감을 얻은 미분 가능 아키텍처 검색 모듈을 제안하여, 레이어 간 비트 폭 할당을 엔드 투 엔드 최적화할 수 있도록 한다.
• 정확도와 복잡도를 균형 잡기 위해 라그랑주 공식을 도입하여 항상 최고의 비트 폭를 선택하는 비현실적인 해를 방지한다.
• 아키텍처와 네트워크 가중치를 동시에 최적화하기 위해 단일 순방향-역방향 패assing 전략을 사용하여 고비용의 이중 최적화를 피한다.
• 검색 공간 크기에 영향을 받지 않는 일정한 학습 복잡도를 확보하기 위해, 공유된 가중치 텐서의 가중치 합을 사용하는 복합 컨볼루션으로 병렬 컨볼루션을 대체한다.
• 정확도 분산을 줄이기 위해 아키텍처 검색에 다항 분포 샘플링을 적용하여 이항 분포 샘플링보다 안정성을 높인다.
• 단일 패assing 최적화 전략을 도입하여, 이중 최적화와 유사한 성능를 달성하면서도 학습 복잡도를 절반으로 줄인다.

실험 결과

연구 질문

• RQ1 CIFAR-10과 같은 프록시 작업이 필요 없는 혼합 정밀도 네트워크를 위한 미분 가능 검색 프레임워크를 설계할 수 있는가?
• RQ2 혼합 정밀도 검색 중 항상 최고의 비트 폭를 선택하는 비현실적인 해를 어떻게 방지할 수 있는가?
• RQ3 후보 비트 폭의 수에 관계없이 혼합 정밀도 검색의 학습 비용을 일정하게 유지할 수 있는가?
• RQ4 아키텍처 샘플링 전략(이항 분포 대비 다항 분포)이 검색의 안정성과 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 방법이 Inception-V3와 ResNet-50와 같은 대규모 모델에 대해 ImageNet에서 직접 학습할 때 얼마나 잘 스케일업되는가?

주요 결과

• EdMIPS는 다양한 네트워크에서 최신 기술 수준의 성능를 달성하였으며, GoogLeNet에 적용된 2비트 EdMIPS 모델은 상위 1위 정확도에서 전체 정밀도 기준보다 3.0% 높은 성능를 기록하였다.
• AlexNet에 적용된 2비트 EdMIPS 모델은 전체 정밀도 모델과 동일한 정확도를 달성하여 높은 효율성과 효과성을 입증하였다.
• ResNet-18의 경우, EdMIPS는 유사한 BitOps를 유지하면서도 상위 1위 정확도 65.9%를 달성하여, 균일한 2비트 기준인 LQ-Net의 64.9%를 초월하였다.
• Inception-V3에 대한 ImageNet 검색은 8개의 GPU 일일 기준으로 완료되었으며, 균일한 2비트 ResNet-18보다 약 45% 높은 학습 비용을 기록하였다.
• 효율적인 복합 컨볼루션은 모델 크기를 약 4배 줄였고, 일반 병렬 컨볼루션 대비 계산과 메모리 사용량을 각각 30-50%, 20-40% 감소시켰다.
• 단일 패assing 최적화 전략은 이중 최적화와 유사한 성능를 달성하면서도 학습 복잡도를 절반으로 줄였다.