[논문 리뷰] Anytime Neural Network: a Versatile Trade-off Between Computation and Accuracy

Hanzhang Hu, Debadeepta Dey외 2명|arXiv (Cornell University)|2018. 02. 12.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 계산 예산이 다양할 때도 지속적으로 출력을 개선할 수 있도록 보조 예측을 딥 뉴럴 네트워크에 통합하는 Anytime Neural Networks(ANNs)를 제안한다. 훈련 중에 진동하는 손실 가중치를 사용해 보조 헤드를 함께 최적화함으로써 ANNs는 추가 계산 비용을 최소화하면서도 최종 정확도를 유지하면서도 모든 예산 수준에서의 조기 종료를 가능하게 하여 최신의 anytime 성능을 달성한다.

ABSTRACT

Anytime predictors first produce crude results quickly, and then continuously refine them until the test-time computational budget is depleted. Such predictors are used in real-time vision systems and streaming-data processing to efficiently utilize varying test-time budgets, and to reduce average prediction cost via early-exits. However, anytime prediction algorithms have difficulties utilizing the accurate predictions of deep neural networks (DNNs), because DNNs are often computationally expensive without competitive intermediate results. In this work, we propose to add auxiliary predictions in DNNs to generate anytime predictions, and optimize these predictions simultaneously by minimizing a carefully constructed weighted sum of losses, where the weights also oscillate during training. The proposed anytime neural networks (ANNs) produce reasonable anytime predictions without sacrificing the final performance or incurring noticeable extra computation. This enables us to assemble a sequence of exponentially deepening ANNs, and it achieves, both theoretically and practically, near-optimal anytime predictions at every budget after spending a constant fraction of extra cost. The proposed methods are shown to produce anytime predictions at the state-of-the-art level on visual recognition data-sets, including ILSVRC2012.

연구 동기 및 목표

• 일반적으로 중간 출력이 정확하지 않은 딥 뉴럴 네트워크에 anytime 예측을 통합하는 도전 과제를 해결하기 위해.
• 동적 계산 제약 조건 하에서 실시간 시스템이 점진적으로 정밀한 예측을 내릴 수 있도록 하기 위해.
• 조기 종료를 위한 보조 헤드를 도입함으로써 최종 모델 정확도를 유지하면서도 상당한 계산 오버헤드 없이 수행하기 위해.
• 진동하는 손실 가중치를 사용하는 새로운 훈련 전략을 통해 모든 예산 수준에서 거의 최적의 anytime 성능을 달성하기 위해.

제안 방법

• 딥 뉴럴 네트워크의 다양한 깊이에 다수의 보조 분류 헤드를 통합하여 중간 예측을 생성하기 위해.
• 손실의 가중합을 최소화함으로써 모든 헤드를 동시에 최적화하며, 훈련 중에 가중치가 진동하도록 설정하여 조기 예측과 최종 예측 간의 균형을 맞추기 위해.
• 조기 헤드와 최종 헤드를 번갈아가며 강조하는 동적 손실 가중치 기반 전략을 사용하여 중간 예측과 최종 예측의 정확도를 모두 향상시키기 위해.
• 각 후속 네트워크가 이전 네트워크를 기반으로 하여 점점 더 깊어지는 ANNs의 시퀀스를 구성하여 anytime 예측 능력을 연장하기 위해.
• 모든 단계에서의 정확도를 균형 잡고 최종 성능 향상 없이도 손실 함수를 복합적으로 사용해 엔드 투 엔드로 네트워크를 훈련시키기 위해.
• 딥 네트워크의 구조를 활용해 추가 계산 비용을 최소화하면서도 어떤 단계에서든 조기 종료를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 보조 헤드가 딥 뉴럴 네트워크에 효과적으로 통합되어 최종 정확도를 떨어뜨리지 않고 anytime 예측을 가능하게 할 수 있는가?
• RQ2 조기 종료를 지원할 수 있도록 중간 예측과 최종 예측을 동시에 최적화할 수 있는 훈련 전략은 어떻게 설계할 수 있는가?
• RQ3 DNN에서 anytime 예측을 구현하는 데 드는 계산 비용은 얼마이며, 이를 최소화할 수 있는가?
• RQ4 제안된 방법이 모든 예산 수준에서 거의 최적의 anytime 성능을 달성할 수 있는가?
• RQ5 표준 비전 벤치마크에서 기존의 anytime 예측 방법과 비교해 제안된 방법은 어떻게 성능을 냈는가?

주요 결과

• 제안된 ANNs는 ILSVRC2012 및 기타 시각 인식 데이터셋에서 최신의 anytime 예측 성능를 달성한다.
• 표준 DNN보다 추가 계산 비용이 일정 비율에 불과하여 효율적인 anytime 추론을 가능하게 한다.
• 훈련 중에 진동하는 손실 가중치를 사용함으로써 중간 예측의 품질이 크게 향상되었으며, 최종 정확도에 해를 끼치지 않았다.
• 프레임워크는 점점 더 깊어지는 네트워크의 시퀀스를 지원하여 모든 예산 수준에서 거의 최적의 anytime 성능를 제공한다.
• 고도의 신뢰도를 가진 예측을 어떤 단계에서든 조기 종료할 수 있어 스트리밍 및 실시간 시스템에서 평균 예측 비용을 줄일 수 있다.
• 실험 결과는 보조 헤드가 조건이 엄격한 계산 제약 조건 하에서도 모든 단계에서 합리적인 예측을 제공한다는 것을 확인한다.