[논문 리뷰] BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures

Tianchen Zhao, Xuefei Ning외 7명|arXiv (Cornell University)|2020. 11. 21.

Advanced Neural Network Applications참고 문헌 37인용 수 5

한 줄 요약

BARS는 이진 신경망(BNNs)을 위한 공동 미분 가능한 신경망 구조 탐색(NAS) 프레임워크를 제안한다. 이는 셀 구조(마이크로 수준)와 네트워크 깊이/너비 레이아웃(마크로 수준)을 동시에 최적화한다. 특화된 이중 수준 탐색 공간을 설계하고, Gumbel 샘플링과 엔트로피 정규화를 통합함으로써, 전체적으로 이진화된 아키텍처를 발견한다. 이는 유의미하게 감소된 부동소수점 연산(FLOPs)으로 최신 기술 수준의 정확도를 달성하며, CIFAR-10과 ImageNet에서 수작업 설계된 BNN 및 이전의 NAS 기반 BNN을 뛰어넘는 성능을 보인다.

ABSTRACT

Binary Neural Networks (BNNs) have received significant attention due to their promising efficiency. Currently, most BNN studies directly adopt widely-used CNN architectures, which can be suboptimal for BNNs. This paper proposes a novel Binary ARchitecture Search (BARS) flow to discover superior binary architecture in a large design space. Specifically, we analyze the information bottlenecks that are related to both the topology and layout architecture design choices. And we propose to automatically search for the optimal information flow. To achieve that, we design a two-level (Macro & Micro) search space tailored for BNNs and apply a differentiable neural architecture search (NAS) to explore this search space efficiently. The macro-level search space includes width and depth decisions, which is required for better balancing the model performance and complexity. We also design the micro-level search space to strengthen the information flow for BNN. %A notable challenge of BNN architecture search lies in that binary operations exacerbate the "collapse" problem of differentiable NAS, for which we incorporate various search and derive strategies to stabilize the search process. On CIFAR-10, BARS achieves 1.5% higher accuracy with 2/3 binary operations and 1/10 floating-point operations comparing with existing BNN NAS studies. On ImageNet, with similar resource consumption, BARS-discovered architecture achieves a 6% accuracy gain than hand-crafted binary ResNet-18 architectures and outperforms other binary architectures while fully binarizing the architecture backbone.

연구 동기 및 목표

• 가중치와 활성화의 1비트 양자화로 인한 정보 차단 현상으로 인한 BNN의 성능 저하 문제를 해결하기 위해.
• 전체 정밀도 CNN 아키텍처를 BNN에 그대로 적용할 경우 정보 흐름이 떨어지는 부적절한 성능을 해결하기 위해.
• BNN를 위한 통합된 미분 가능한 NAS 프레임워크를 개발하여 마이크로 수준의 구조와 마크로 수준의 레이아웃을 동시에 탐색하기 위해.
• 백본을 완전히 이진화함으로써 전체 정밀도 연산을 최소화하면서 정확도를 극대화하기 위해, 다운샘플링 레이어까지 포함한다.
• Gumbel 샘플링과 엔트로피 정규화와 같은 개선된 전략을 통해 큰 탐색 공간에서의 탐색 과정을 안정화시키기 위해.

제안 방법

• 마크로 수준은 깊이 및 너비 결정을, 마이크로 수준은 이진 컨벌루션과 스킵 커넥션을 포함한 셀 구조를 위한 이중 수준 탐색 공간을 설계한다.
• DARTS를 확장하여 통합된 미분 가능 공식을 사용해 마크로 및 마이크로 탐색 공간을 동시에 최적화한다.
• 초기 탐색 단계에서는 탐색을 장려하고, 후기 단계에서는 확신 있는 결정을 유도하기 위해 온도 스케줄링을 적용한 Gumbel 샘플링을 도입한다.
• 다양하고 확신 있는 연산 선택을 촉진함으로써 아키텍처 탐색을 안정화시키기 위해 엔트로피 정규화를 적용한다.
• 정보 흐름을 유지하면서도 네트워크의 완전한 이진화를 가능하게 하는 개선된 이진 다운샘플 레이어를 설계한다.
• '단순 경로로 붕괴되는 문제'를 방지하기 위해 웜업 훈련과 하이퍼파ram터 스케줄링을 사용한다.

실험 결과

연구 질문

• RQ1 마크로 수준의 레이아웃과 마이크로 수준의 구조를 동시에 탐색함으로써, 수작업 설계된 아키텍처나 FP-NAS에 적응한 아키텍처를 뛰어넘는 BNN의 성능 향상을 이룰 수 있는가?
• RQ2 BNN에서 발생하는 정보 차단 현상이 성능에 미치는 영향은 무엇이며, 마이크로 및 마크로 수준의 아키텍처 설계를 통해 이를 완화할 수 있는가?
• RQ3 완전히 이진화된 백본(다운샘플링 레이어 포함)을 갖는 BNN에 대해, 미분 가능한 NAS 프레임워크를 효과적으로 적용할 수 있는가?
• RQ4 큰 복잡한 BNN 탐색 공간에서 탐색 과정을 안정화시키는 데 가장 효과적인 탐색 전략은 무엇인가?
• RQ5 스킵 커넥션과 다운샘플링 연산과 같은 아키텍처 선택이 BNN에서 정보 흐름과 최종 정확도에 미치는 영향은 어떠한가?

주요 결과

• CIFAR-10에서 BARS는 이전 BNN NAS 방법 대비 1/10의 부동소수점 연산과 2/3의 이진 연산으로 93.0%의 top-1 정확도를 달성한다.
• ImageNet에서 BARS가 발견한 아키텍처는 완전히 이진화된 ResNet-18보다 6% 높은 정확도를 기록하며, 자원 소비도 크게 줄였다.
• 이전 연구들과 달리, BARS가 발견한 아키텍처는 다운샘플링 레이어까지 완전히 이진화되어 있다.
• 제거 실험 결과, op 수준의 스킵 커넥션 또는 개선된 다운샘플 레이어를 제거하면 BARS-B에서 각각 0.2%와 0.3%의 정확도 저하가 발생하여 강력한 아키텍처 상호작용을 확인할 수 있다.
• 깊이 및 너비의 마크로 수준 공동 탐색은 균일한 너비 확장을 초과하는 성능-복잡도 트레이드오프를 달성하며, 파레토 경계 분석을 통해 입증되었다.
• ImageNet에서 발견된 셀은 CIFAR-10의 셀보다 더 많은 컨벌루션과 더 복잡한 스킵 커넥션을 포함하고 있어, 데이터셋에 특화된 아키텍처 선호도를 반영한다.