[논문 리뷰] An end-to-end approach for speeding up neural network inference

Charles Herrmann, Richard Strong Bowen외 1명|arXiv (Cornell University)|2018. 12. 11.

Advanced Neural Network Applications참고 문헌 42인용 수 3

한 줄 요약

이 논문은 배치 활성화 손실과 구름벨 재구성 기법을 통해 동적 네트워크 구조를 학습하여 신경망 추론 속도와 정확도를 동시에 최적화하는 엔드 투 엔드 프레임워크를 제안한다. 이는 필터 Pruning과 조건부 계산을 모두 가능하게 하여 ImageNet 분류 작업에서 ResNet 기준 45–52% 감소, MobileNetV2 기준 19–37% 감소된 계산량을 달성하면서도 정확도 저하가 크지 않다.

ABSTRACT

Important applications such as mobile computing require reducing the computational costs of neural network inference. Ideally, applications would specify their preferred tradeoff between accuracy and speed, and the network would optimize this end-to-end, using classification error to remove parts of the network \cite{lecun1990optimal,mozer1989skeletonization,BMVC2016_104}. Increasing speed can be done either during training -- e.g., pruning filters \cite{li2016pruning} -- or during inference -- e.g., conditionally executing a subset of the layers \cite{aig}. We propose a single end-to-end framework that can improve inference efficiency in both settings. We introduce a batch activation loss and use Gumbel reparameterization to learn network structure \cite{aig,jang2016categorical}. We train end-to-end against batch activation loss combined with classification loss, and the same technique supports pruning as well as conditional computation. We obtain promising experimental results for ImageNet classification with ResNet \cite{he2016resnet} (45-52\% less computation) and MobileNetV2 \cite{sandler2018mobilenetv2} (19-37\% less computation).

연구 동기 및 목표

• 모바일 컴퓨팅과 같은 실생활 응용 분야에서 신경망 추론 속도와 정확도 간의 트레이드오프를 엔드 투 엔드로 최적화할 수 있도록 하는 것.
• 추론 중에 모델 프루닝과 조건부 계산을 모두 지원하는 통합 프레임워크를 개발하는 것.
• 학습 가능한 네트워크 구조를 통해 계산 비용을 감소시키면서도 분류 성능를 유지하는 것.
• 배치 활성화 손실과 표준 분류 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련함으로써 공동 최적화를 수행하는 것.

제안 방법

• 훈련 중 네트워크 구조 학습을 이끄는 데 사용할 수 있는 배치 활성화 손실을 도입한다.
• 이산적 구조를 미분 가능하게 샘플링하기 위해 구름벨 재구성 기법을 사용하여, 네트워크 아키텍처 선택을 통한 역전파를 가능하게 한다.
• 배치 활성화 손실과 표준 분류 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 학습을 통해 유지하거나 활성화할 구성 요소를 결정함으로써 필터 프루닝과 레이어의 조건부 실행을 모두 가능하게 한다.
• ImageNet 분류 작업을 위해 ResNet과 MobileNetV2에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 단일 엔드 투 엔드 프레임워크가 신경망에서 추론 속도와 정확도를 동시에 최적화할 수 있는가?
• RQ2 구름벨 재구성 기법이 프루닝과 조건부 계산을 위한 동적 네트워크 구조를 효과적으로 학습하는 데 기여하는가?
• RQ3 제안된 방법이 높은 분류 정확도를 유지하면서도 상당한 계산 감소를 달성하는가?
• RQ4 배치 활성화 손실이 효율적인 네트워크 구조 학습에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 ImageNet 분류 작업에서 ResNet 기준 최대 45–52%의 계산 감소를 달성하면서도 정확도 저하가 크지 않다.
• MobileNetV2 기준으로는 경쟁적인 정확도를 유지하면서도 19–37%의 계산 감소를 달성한다.
• 이 프레임워크는 단일 훈련 철학 내에서 프루닝과 조건부 계산을 모두 성공적으로 지원한다.
• 구름벨 재구성 기법의 사용은 미분 가능한 아키텍처 탐색을 가능하게 하여 네트워크 구조의 엔드 투 엔드 최적화를 가능하게 한다.