[논문 리뷰] A comprehensive review of Binary Neural Network

Chunyu Yuan, Sos С. Agaian|arXiv (Cornell University)|2021. 10. 11.

Advanced Memory and Neural Computing참고 문헌 62인용 수 12

한 줄 요약

이 논문은 1비트 가중치와 활성화를 전적으로 다루는 이진 신경망(BNNs)에 초점을 맞춘 종합적이고 최신의 리뷰를 제시한다. 양자화, 손실 함수, 기울기 근사, 네트워크 아키텍처 등 다양한 최적화 기법을 체계적으로 분석하며, 2021년까지의 BNN 기술 발전을 비판적으로 종합하고 핵심 연구 격차를 규명하며 자원 제약이 있는 장치에 효율적으로 구현할 수 있는 향후 방향을 제시한다. 높은 정확도와 낮은 계산 비용을 동시에 확보할 수 있다.

ABSTRACT

Deep learning (DL) has recently changed the development of intelligent systems and is widely adopted in many real-life applications. Despite their various benefits and potentials, there is a high demand for DL processing in different computationally limited and energy-constrained devices. It is natural to study game-changing technologies such as Binary Neural Networks (BNN) to increase deep learning capabilities. Recently remarkable progress has been made in BNN since they can be implemented and embedded on tiny restricted devices and save a significant amount of storage, computation cost, and energy consumption. However, nearly all BNN acts trade with extra memory, computation cost, and higher performance. This article provides a complete overview of recent developments in BNN. This article focuses exclusively on 1-bit activations and weights 1-bit convolution networks, contrary to previous surveys in which low-bit works are mixed in. It conducted a complete investigation of BNN's development -from their predecessors to the latest BNN algorithms/techniques, presenting a broad design pipeline and discussing each module's variants. Along the way, it examines BNN (a) purpose: their early successes and challenges; (b) BNN optimization: selected representative works that contain essential optimization techniques; (c) deployment: open-source frameworks for BNN modeling and development; (d) terminal: efficient computing architectures and devices for BNN and (e) applications: diverse applications with BNN. Moreover, this paper discusses potential directions and future research opportunities in each section.

연구 동기 및 목표

• 기존 서베이의 한계를 해결하고 1비트 가중치와 활성화에 집중한 이진 신경망(BNNs)의 종합적이고 최신의 리뷰를 제공하는 것.
• 기존 문헌 리뷰에서 잘못 기재된 벤치마크 결과나 잘못된 하드웨어 효율성 주장 등의 정확성에 대한 비판적 평가 및 수정.
• 양자화, 손실 함수, 기울기 근사, 네트워크 토폴로지, 학습 전략 등 다양한 영역에서 BNN 최적화 기법을 시스템적으로 분류 및 분석하는 것.
• 오픈소스 BNN 프레임워크, 효율적인 하드웨어 플랫폼, 실제 응용 사례에 대한 체계적인 개요 제공.
• 주요 과제를 규명하고, 특히 3D BNNs, 트랜스포머 기반 BNNs, 자동 아키텍처 탐색 분야에서의 향후 연구 방향 제안.

제안 방법

• 2021년 이전에 출판된 유명한 컫퍼런스 및 저널에서 발표된 BNN 논문에 대해 체계적인 문헌 리뷰를 수행하였으며, 순수한 1비트 BNNs(1비트 가중치 및 활성화)에만 집중한다.
• BNN 최적화 기법을 다섯 가지 핵심 범주로 분류한다: 양자화 함수, 활성화/가중치 분포, 손실 함수 개선, 기울기 근사, 네트워크 토폴로지 및 학습 전략.
• 각 BNN 기법이 각 최적화 범주 내에서 기여한 바를 명확히 하기 위해 세부적인 표를 활용하며, 단일 기법을 다수의 범주에 할당함으로써 과도한 단순화를 방지한다.
• BNN 프레임워크, 하드웨어 플랫폼(FPGA, ASIC 등) 및 모델 크기, 추론 속도, 에너지 소비 등의 효율성 지표를 비교 분석한다.
• 컴퓨터 비전, NLP, 음성 인식, 생물의학 신호 처리, 3D 동작 인식 등 다양한 분야에서 BNN 응용 사례를 평가하며 구체적인 성능 지표를 인용한다.
• 기존 연구를 비판적으로 분석함으로써 연구 격차를 규명하며, 특히 3D 작업, 트랜스포머 기반 BNNs, 자동 아키텍처 탐색 분야에서의 한계를 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 1비트 가중치와 활성화를 가진 고정확도 BNN을 가능하게 하는 핵심 최적화 기법은 무엇이며, 이는 어떻게 체계적으로 분류될 수 있는가?
• RQ2 기존 BNN 서베이에서 벤치마크 결과나 하드웨어 효율성 주장에 오류가 있었던 이유는 무엇이며, 이 논문은 이를 어떻게 수정하는가?
• RQ3 컴퓨터 비전, NLP, 생물의학 신호 처리 등 다양한 분야에서 BNN의 현재 성능 수준과 추세는 어떠한가?
• RQ4 3D 데이터 및 트랜스포머 기반 아키텍처에 BNN을 구현할 때 발생하는 주요 과제는 무엇이며, 이를 해결함으로써 어떤 기회가 열리는가?
• RQ5 엣지 장치에서 BNN을 효과적으로 가속화하고 구현하기 위해선 어떤 하드웨어 플랫폼과 프레임워크가 가장 적합한가?

주요 결과

• 이 논문은 BNN이 전기 정밀도 32비트 CNN에 비해 최대 32배 작고, 추론 속도가 58배 빠른 것으로 확인하여 엣지 장치에 적합한 특성을 입증한다.
• BNNH(Binary Neural Network Hashing)는 낮은 저장 비용으로 대규모 이미지 검색을 효율적으로 수행하며, BNN의 검색 시스템 활용 가능성을 입증한다.
• 3D BNN 모델은 KTH 데이터셋에서 384 프레임/초 속도로 89.2%의 정확도를 달성하여 인간 동작 인식 분야에서 뛰어난 성능을 보였다.
• 초기 BNN 기반의 의미적 세그멘테이션 네트워크인 Binary DAD-Net은 자율 주행에서 실시간 주행 가능 영역 탐지 기능을 제공한다.
• BNN은 심전도(ECG) 및 뇌파(EEG)와 같은 생물의학 신호 처리 분야에도 성공적으로 적용되어 스마트하고 자율적인 헬스케어 기기의 실현 가능성을 보였다.
• 다시 말해, 성과 향상에도 불구하고 깊은 네트워크와 3D 작업에서는 이진화 과정에서 누적 정보 손실로 인해 여전히 심각한 성능 저하가 발생하고 있어, 이는 핵심 과제로 남아 있다.