[논문 리뷰] Sacrificing Accuracy for Reduced Computation: Cascaded Inference Based on Softmax Confidence.

Konstantin Berestizshevsky, Guy Even|arXiv (Cornell University)|2018. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 6

한 줄 요약

이 논문은 중간 딥 네트워크 레이어에서의 소프트맥스 신뢰도 점수를 사용하여 추론 중에 계산 비용을 동적으로 조정하는 계단식 추론 방법을 제안한다. 이러한 신뢰도 수준에 기반한 조기 종료를 통해 최대 2.16배의 속도 향상을 달성하면서 정확도 손실은 최소한으로 유지(스베인에서 1.4%)하여 재학습 없이도 실시간으로 속도와 정확도 사이의 트레이드오프를 가능하게 한다.

ABSTRACT

We study the tradeoff between computational effort and accuracy in a cascade of deep neural networks. During inference, early termination in the cascade is controlled by confidence levels derived directly from the softmax outputs of intermediate classifiers. The advantage of early termination is that classification is performed using less computation, thus adjusting the computational effort to the complexity of the input. Moreover, dynamic modification of confidence thresholds allow one to trade accuracy for computational effort without requiring retraining. Basing of early termination on softmax classifier outputs is justified by experimentation that demonstrates an almost linear relation between confidence levels in intermediate classifiers and accuracy. Our experimentation with architectures based on ResNet obtained the following results. (i) A speedup of 1.5 that sacrifices 1.4% accuracy with respect to the CIFAR-10 test set. (ii) A speedup of 1.19 that sacrifices 0.7% accuracy with respect to the CIFAR-100 test set. (iii) A speedup of 2.16 that sacrifices 1.4% accuracy with respect to the SVHN test set.

연구 동기 및 목표

• 딥 네트워크 추론에서 계산 효율성과 모델 정확도 사이의 트레이드오프를 해결하기 위해.
• 재학습 없이도 입력별 계산 노력의 동적 조정을 가능하게 하기 위해.
• 중간 레이어에서의 신뢰도 점수에 기반해 계단식 분류기에서의 조기 종료를 가능하게 하는 메커니즘을 개발하기 위해.
• 소프트맥스 신뢰도가 예측 정확도와 강하게 상관관계가 있음을 검증하여, 이를 종료 기준으로 사용하는 것이 타당함을 입증하기 위해.

제안 방법

• 이 방법은 각각 소프트맥스 확률 출력을 생성하는 딥 네트워크 분류기의 계단식 구조를 사용한다.
• 중간 분류기의 출력에서의 신뢰도가 동적으로 조정 가능한 임계값을 초과하면 조기 종료가 발생한다.
• 신뢰도 임계값은 추론 시점에 조정되어 속도와 정확도의 균형을 이루며, 재학습 없이도 런타임에서 트레이드오프를 가능하게 한다.
• 중간 분류기의 신뢰도 점수와 예측 정확도 사이의 상관관계가 경험적으로 거의 선형임을 입증하여, 이 점수를 신뢰성의 대체 지표로 사용하는 것이 타당함을 뒷받침한다.
• 이 방법은 CIFAR-10, CIFAR-100, SVHN 데이터셋에서 ResNet 기반 아키텍처에 적용된다.
• 이 시스템은 구동 후에 원하는 속도-정확도 트레이드오프를 달성하기 위해 동적 임계값 조정을 지원한다.

실험 결과

연구 질문

• RQ1 중간 네트워크 레이어에서의 소프트맥스 신뢰도 점수가 분류 정확도를 신뢰성 있게 예측할 수 있으며, 이를 바탕으로 조기 종료를 유도할 수 있는가?
• RQ2 조기 종료를 통해 계산 효율성을 얼마나 향상시킬 수 있으며, 정확도 손실이 크지 않은가?
• RQ3 모델을 재학습하지 않고도 추론 시점에서 속도-정확도 트레이드오프를 동적으로 조정할 수 있는가?
• RQ4 다양한 데이터셋 간에 중간 소프트맥스 신뢰도와 최종 정확도 사이의 상관관계는 어떻게 달라지는가?
• RQ5 이 방법을 실제로 적용했을 때 달성 가능한 속도 향상과 해당 정확도 트레이드오프는 무엇인가?

주요 결과

• CIFAR-10 데이터셋에서, 이 방법은 전체 모델 대비 정확도 손실 1.4%만을 기록하면서 1.5배의 속도 향상을 달성했다.
• CIFAR-100에서는 1.19배의 속도 향상과 함께 정확도가 0.7% 감소했다.
• SVHN에서는 최대 2.16배의 속도 향상이 이루어졌으며, 이에 따라 정확도가 1.4% 감소했다.
• 중간 소프트맥스 신뢰도와 최종 예측 정확도 사이의 상관관계가 거의 선형임이 밝혀져, 신뢰도를 신뢰할 수 있는 종료 기준으로 사용하는 것이 타당함을 입증했다.
• 재학습 없이도 신뢰도 임계값 조정을 통해 런타임에서 속도-정확도 트레이드오프를 유연하게 조정할 수 있다.
• 이 방법은 다양한 데이터셋에서 우수한 성능을 유지하여, 이 신뢰도 기반 조기 종료 메커니즘이 일반화 가능함을 보여주었다.