[논문 리뷰] Class Means as an Early Exit Decision Mechanism.

Alperen Görmez, Erdem Koyuncu|arXiv (Cornell University)|2021. 03. 01.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 5

한 줄 요약

이 논문은 신경망의 조기 종료 메커니즘을 위한 새로운 방법을 제안하며, 특징의 클래스 평균을 사용하여 조기 예측을 결정함으로써 내부 분류기의 기울기 기반 학습이 필요 없도록 한다. 고정된 학습 예산 하에서 더 높은 정확도를 달성하며, 기존 방법과 조합할 경우 정확도-계산량 트레이드오프를 향상시켜 저전력 엣지 장치에 유리하다.

ABSTRACT

State-of-the-art neural networks with early exit mechanisms often need considerable amount of training and fine-tuning to achieve good performance with low computational cost. We propose a novel early exit technique based on the class means of samples. Unlike most existing schemes, our method does not require gradient-based training of internal classifiers. This makes our method particularly useful for neural network training in low-power devices, as in wireless edge networks. In particular, given a fixed training time budget, our scheme achieves higher accuracy as compared to existing early exit mechanisms. Moreover, if there are no limitations on the training time budget, our method can be combined with an existing early exit scheme to boost its performance, achieving a better trade-off between computational cost and network accuracy.

연구 동기 및 목표

• 기존 신경망의 조기 종료 메커니즘에서 높은 학습 및 미세조정 비용 문제를 해결하기 위해.
• 내부 분류기의 기울기 기반 학습을 제거하여 저전력 엣지 장치에서 효율적인 추론을 가능하게 하기 위해.
• 최신 기술 대비 고정된 학습 시간 예산 하에서 정확도를 향상시키기 위해.
• 기존 조기 종료 기법을 보완할 수 있는 플러그인 형태의 개선을 제공하기 위해.

제안 방법

• 학습 중에 신경망의 마지막 레이어에서 특징의 클래스 평균을 계산한다.
• 추론 중에 네트워크는 현재 특징 활성화값을 클래스 평균과 비교하여 조기 종료 여부를 결정한다.
• 조기 종료 결정은 추가적인 학습 가능한 파rameter가 필요 없이, 입력 특징과 클래스 평균 간의 최소 거리에 기반한다.
• 이 방법은 어떤 사전 학습된 네트워크와도 호환되며, 내부 분류기의 재학습 또는 미세조정이 필요하지 않다.
• 기존 조기 종료 기법과 조합할 경우, 클래스 평균을 신뢰도 지표로 사용하여 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 특징의 클래스 평균을 조기 종료 결정 기준으로 효과적으로 사용할 수 있는가?
• RQ2 내부 분류기의 기울기 기반 학습을 제거하면 저전력 장치에서 효율성과 성능이 향상되는가?
• RQ3 기존 조기 종료 기법과 비교해 고정된 학습 시간 예산 하에서 이 방법의 성능은 어떠한가?
• RQ4 기존 조기 종료 기법을 정확도 및 계산 효율성 측면에서 향상시키는 데 사용할 수 있는가?

주요 결과

• 제안된 방법은 고정된 학습 시간 예산 하에서 기존 조기 종료 기법보다 더 높은 정확도를 달성한다.
• 내부 분류기의 기울기 기반 학습이 필요 없어지면서 계산 비용과 학습 오버헤드가 감소한다.
• 이 방법은 경량 추론 메커니즋试로 저전력 엣지 환경에서 특히 효과적이다.
• 기존 조기 종료 기법과 조합할 경우 정확도-계산량 트레이드오프가 향상되어 더 우수한 성능을 제공한다.