[논문 리뷰] BiBench: Benchmarking and Analyzing Network Binarization

Haotong Qin, Mingyuan Zhang외 6명|arXiv (Cornell University)|2023. 01. 26.

Advanced Neural Network Applications인용 수 16

한 줄 요약

BiBench은 다수의 작업, 아키텍처, 손상, 학습 설정 및 하드웨어에 걸쳐 8개의 이진화 알고리즘을 비교하는 포괄적 벤치마크를 제공하며, 연산자 수준의 정확도와 효율성에 미치는 영향을 밝힙니다.

ABSTRACT

Network binarization emerges as one of the most promising compression approaches offering extraordinary computation and memory savings by minimizing the bit-width. However, recent research has shown that applying existing binarization algorithms to diverse tasks, architectures, and hardware in realistic scenarios is still not straightforward. Common challenges of binarization, such as accuracy degradation and efficiency limitation, suggest that its attributes are not fully understood. To close this gap, we present BiBench, a rigorously designed benchmark with in-depth analysis for network binarization. We first carefully scrutinize the requirements of binarization in the actual production and define evaluation tracks and metrics for a comprehensive and fair investigation. Then, we evaluate and analyze a series of milestone binarization algorithms that function at the operator level and with extensive influence. Our benchmark reveals that 1) the binarized operator has a crucial impact on the performance and deployability of binarized networks; 2) the accuracy of binarization varies significantly across different learning tasks and neural architectures; 3) binarization has demonstrated promising efficiency potential on edge devices despite the limited hardware support. The results and analysis also lead to a promising paradigm for accurate and efficient binarization. We believe that BiBench will contribute to the broader adoption of binarization and serve as a foundation for future research. The code for our BiBench is released https://github.com/htqin/BiBench .

연구 동기 및 목표

• 생산 환경에서 네트워크 이진화를 위한 실용적 요구사항과 평가 트랙을 정의한다.
• 다양한 작업과 아키텍처 전반에 걸쳐 이진화된 연산자가 정확도, 효율성 및 배치 가능성에 미치는 영향을 평가한다.
• 이진화된 네트워크의 손상에 대한 강건성과 하드웨어 배치 가능성을 평가한다.
• 정확하고 효율적인 이진화 알고리즘 설계를 위한 통찰과 가이드라인을 제공한다.

제안 방법

• 스케일링 팩터, 매개변수 재분배, 그리고 그래디언트 근사 등을 포괄하는 8가지 영향력 있는 연산자 수준 이진화 알고리즘을 선택한다.
• 이 알고리즘들을 9개 데이터셋, 13개 신경망 아키텍처, 2개 배포 라이브러리, 14개 하드웨어 칩, 그리고 다양한 하이퍼파라미터에서 벤치마크한다.
• 일관된 지표를 가진 6개의 평가 트랙(Learning Task, Neural Architecture, Corruption Robustness, Training Consumption, Theoretical Complexity, Hardware Inference)을 정의한다.
• 트랙별로 평균 상대 정확도와 제곱 평균을 전역 메트릭으로 계산하기 위해 풀-프리시전 기준선을 사용하여 산출한다.
• 평가를 위한 표준화된 사전학습, 미세조정 및 ONNX 내보내기를 포함한 PyTorch 기반의 학습/추론 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 다른 학습 작업 및 데이터 모달리티에 따라 이진화 정확도가 어떻게 달라지는가?
• RQ2 신경망 아키텍처의 선택(CNN, 트랜스포머, MLP)이 이진화 성능에 어떤 영향을 미치는가?
• RQ3 데이터 손상이 이진화된 네트워크에 미치는 영향은 풀 프리시전 모델과 비교하여 어떠한가?
• RQ4 이진화된 네트워크의 실질적인 학습 비용과 하드웨어 배치 가능성은 무엇인가?
• RQ5 정확도와 효율성의 균형을 이루는 효과적인 이진화 연산자의 일반적인 설계 패러다임이 있는가?

주요 결과

• 이진화 연산자는 성능에 결정적으로 영향을 미치며, 동일한 알고리즘이라도 작업 간(예: GLUE vs ShapeNet) 정확도 차이가 큽니다.
• 트랜스포머 기반 아키텍처는 이진화하기가 특히 어려운 반면, CNN과 MLP는 더 높은 비율의 풀 프리시전 정확도에 도달할 수 있습니다.
• 이진화된 네트워크는 CIFAR10-C에서 풀 프리시전 모델과 유사한 수준의 손상에 대한 강건성을 보일 수 있으며, 알고리즘에 따라 때로는 이를 능가합니다.
• 학습 비용은 가변적이며, 일부 알고리즘은 하이퍼파라미터에 안정적이고, 다른 알고리즘은 그래디언트 근사 기법으로 인해 상당한 학습 시간이 소요됩니다.
• 엣지 디바이스에서 하드웨어 배치는 이용 가능한 추론 라이브러리에 의해 제한되지만, 지원될 경우 이진화는 저장 용량 감소 및 추론 속도 향상에 상당한 잠재력을 보여줍니다.
• FDA와 ReActNet 접근법은 CNN과 트랜스포머 전반에 걸쳐 안정성 이점을 제공하여 실용적인 연산자 설계 패러다임을 시사합니다.