[논문 리뷰] ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections

Sujith Ravi|arXiv (Cornell University)|2017. 08. 02.

Advanced Neural Network Applications참고 문헌 25인용 수 43

한 줄 요약

ProjectionNet는 랜덤 프로젝션을 통해 활성화를 저비트 표현으로 매핑함으로써, 대규모 정확한 딥 네ural 네트워크를 작고 효율적인 모델로 압축하는 공동 학습 프레임워크를 제안한다. 이 방법은 메모리와 계산 자원을 크게 줄이며, CIFAR-100에서 단 720비트로도 전체 네트워크 성능의 90% 이상을 유지함을 보여준다.

ABSTRACT

Deep neural networks have become ubiquitous for applications related to visual recognition and language understanding tasks. However, it is often prohibitive to use typical neural networks on devices like mobile phones or smart watches since the model sizes are huge and cannot fit in the limited memory available on such devices. While these devices could make use of machine learning models running on high-performance data centers with CPUs or GPUs, this is not feasible for many applications because data can be privacy sensitive and inference needs to be performed directly "on" device. We introduce a new architecture for training compact neural networks using a joint optimization framework. At its core lies a novel objective that jointly trains using two different types of networks--a full trainer neural network (using existing architectures like Feed-forward NNs or LSTM RNNs) combined with a simpler "projection" network that leverages random projections to transform inputs or intermediate representations into bits. The simpler network encodes lightweight and efficient-to-compute operations in bit space with a low memory footprint. The two networks are trained jointly using backpropagation, where the projection network learns from the full network similar to apprenticeship learning. Once trained, the smaller network can be used directly for inference at low memory and computation cost. We demonstrate the effectiveness of the new approach at significantly shrinking the memory requirements of different types of neural networks while preserving good accuracy on visual recognition and text classification tasks. We also study the question "how many neural bits are required to solve a given task?" using the new framework and show empirical results contrasting model predictive capacity (in bits) versus accuracy on several datasets.

연구 동기 및 목표

• 모바일폰과 스마트워치와 같은 메모리 제약이 있는 장치에 대규모 딥 네ural 네트워크를 구현하는 데 도전하는 것.
• 모델 정확도가 저하되는 후기 압축 기법의 한계를 극복하는 것.
• 완전한 고성능 네트워크를 모방하도록 경량 프로젝션 네트워크를 학습하는 공동 최적화 프레임워크를 개발하는 것.
• 딥 네트워크의 예측 능력을 유지하기 위해 필요한 최소한의 신경 비트 수를 조사하는 것.
• 프로젝션을 사용한 암시적 학습 방식을 통해 압축된 모델을 학습함으로써, 저메모리 추론을 효율적으로 가능하게 하는 것.

제안 방법

• 입력이나 히든 표현을 이진 벡터(신경 비트)로 변환하기 위해 로컬리티 감응 해싱 기반의 랜덤 프로젝션을 적용한다.
• 프로젝션 네트워크가 트레이너 네트워크의 출력을 모방하도록, 백프로파게이션을 통해 두 네트워크를 공동으로 학습한다.
• 예측 정확도(정답 레이블 일치)와 이웃한 트레이너 예측과의 일관성에 대한 손실을 조합하여 프로젝션 네트워크를 최적화한다.
• 프로젝션 네트워크를 이산적이고 비트 수준의 모델로 표현함으로써, 최소한의 메모리와 계산 자원으로 초효율적 추론을 가능하게 한다.
• 그래프 기반 손실 함수를 사용하여, 트레이너와 프로젝션 네트워크 모두를 엔드 투 엔드로 학습하는 구조적 예측 작업으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 주어진 작업에 대해 전체 딥 네트워크의 예측 능력을 포괄하기 위해 필요한 최소한의 신경 비트 수는 얼마인가?
• RQ2 공동 최적화를 통해 학습된 경량 프로젝션 네트워크가 메모리 사용을 수개의 주기로 줄였을 때, 전체 네트워크의 정확도를 따라잡을 수 있는가?
• RQ3 랜덤 프로젝션은 저차원 비트 공간에서 딥 네트워크 활성화의 표현 능력을 어느 정도 유지할 수 있는가?
• RQ4 이 프레임워크는 시각 및 텍스트 분류를 포함한 다양한 아키텍처와 작업에 대해 얼마나 일반화되는가?
• RQ5 구조적 손실 함수를 사용하여, 준지도 학습 또는 그래프 기반 학습 환경으로 이 프로젝션 프레임워크를 확장할 수 있는가?

주요 결과

• MNIST에서 100비트의 ProjectionNet는 3층 피드포워드 네트워크의 약 80% 정확도를 달성하여 높은 효율성을 보였다.
• CIFAR-100에서 720비트의 ProjectionNet는 전체 네트워크의 예측 성능의 90% 이상을 복원하여, 매우 적은 비트로도 강력한 표현 능력을 가짐을 시사한다.
• CIFAR-100에서 120비트에서 720비트 사이에 예측 비율이 급격히 증가함을 확인하여, 효과적인 표현을 위한 임계 포인트가 존재함을 시사한다.
• 공동 학습 프레임워크는 모델 정확도를 유지하면서 모델 크기를 크게 줄이는 엔드 투 엔드 최적화를 가능하게 한다.
• 이 방법은 다양한 네트워크 아키텍처와 학습 환경(예: 그래프 기반 및 준지도 학습)에 유연하게 적용 가능하며, 모델 크기 조절이 수월하다.
• 이 프레임워크는 저메모리 및 저계산 비용으로 장치 내 추론을 가능하게 하여, 프라이버시에 민감하거나 연결성이 떨어지는 환경에 적합하다.