[논문 리뷰] Learning Anytime Predictions in Neural Networks via Adaptive Loss Balancing

Hanzhang Hu, Debadeepta Dey외 2명|arXiv (Cornell University)|2017. 08. 22.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 14

한 줄 요약

이 논문은 보조 손실의 가중치를 각 손실의 경험적 평균에 반비례하도록 적응적으로 조정함으로써, 언제든지 신경망(ANNs)을 훈련시키는 AdaLoss를 제안한다. 이 방법은 더 작은 ANNs가 고정된 가중치를 가진 더 큰 모델의 정확도를 따라하거나 초월할 수 있도록 하며, 다양한 비전 데이터셋에서 빠른 예측과 최종 예측 모두 경쟁적인 성능을 달성한다. 특히 성능 포화 상태에서 두드러진다.

ABSTRACT

This work considers the trade-off between accuracy and test-time computational cost of deep neural networks (DNNs) via \emph{anytime} predictions from auxiliary predictions. Specifically, we optimize auxiliary losses jointly in an \emph{adaptive} weighted sum, where the weights are inversely proportional to average of each loss. Intuitively, this balances the losses to have the same scale. We demonstrate theoretical considerations that motivate this approach from multiple viewpoints, including connecting it to optimizing the geometric mean of the expectation of each loss, an objective that ignores the scale of losses. Experimentally, the adaptive weights induce more competitive anytime predictions on multiple recognition data-sets and models than non-adaptive approaches including weighing all losses equally. In particular, anytime neural networks (ANNs) can achieve the same accuracy faster using adaptive weights on a small network than using static constant weights on a large one. For problems with high performance saturation, we also show a sequence of exponentially deepening ANNscan achieve near-optimal anytime results at any budget, at the cost of a const fraction of extra computation.

연구 동기 및 목표

• 딥 네트워크에서 테스트 시 계산 비용과 예측 정확도 사이의 상충 관계를 해결하기 위해.
• 조기 및 최종 예측을 균형 있게 개선할 수 있도록 보조 손실을 최적화하는 방식으로 언제든지 예측 성능을 향상시키기 위해.
• 작은 ANNs가 비적응형 가중치를 가진 더 큰 모델과 비교해 유사한 성능을 달성할 수 있도록 훈련 전략을 개발하기 위해.
• 상대적 손실 향상이 동일하게 처리되는 것과 같은 적응형 손실 가중치 부여에 대한 이론적 근거를 제공하기 위해.
• 적응형 가중치가 데이터셋의 어려움에 자동으로 적응하여 더 어려운 작업에서는 후행 레이어에 더 많은 가중치를 배분하는가를 확인하기 위해.

제안 방법

• 훈련 중에 각 손실의 경험적 평균에 반비례하는 가중치를 갖는 보조 손실의 적응형 가중 합을 사용한다.
• 이 정규화는 모든 손실이 유사한 척도에 있도록 보장하여, 한 손실이 최적화 과정을 지배하는 것을 방지한다.
• 이 방법은 기대 손실의 기하 평균을 최대화하는 것과 동치이며, 이는 손실 간 상대적 향상이 동일하게 처리됨을 이론적으로 보장한다.
• 또한, 자명한 0 가중치 해를 피하기 위해 로그-바리어 정규화를 통한 최대우도추정에 기반한다.
• 표준 DNN 아키텍처에 중간 레이어에 보조 예측과 손실을 추가함으로써 ANNs를 형성함으로써 이 방법을 적용한다.
• 이 프레임워크는 독립형 ANNs와 지수적으로 증가하는 깊이를 가진 네트워크를 조합하는 앙상블 기반 언제든지 네트워크(EANNs)를 모두 지원한다.

실험 결과

연구 질문

• RQ1 적응형 손실 가중치는 다양한 계산 예산에서 언제든지 신경망의 성능을 향상시킬 수 있는가?
• RQ2 적응형 손실 균형 조정은 조기 및 최종 예측 정확도 측면에서 정적 일정 가중치와 비교해 어떻게 성능을 냈는가?
• RQ3 적응형 가중치를 사용하는 작은 ANNs는 비적응형 가중치를 사용하는 더 큰 ANNs를 능가할 수 있는가?
• RQ4 적응형 가중치 부여 방식은 데이터셋의 어려움에 자동으로 적응하여 더 어려운 데이터셋에서는 후행 레이어에 더 많은 가중치를 배분하는가?
• RQ5 제안된 방법은 앙상블 전략과 조합하여 언제든지 예측 성능을 추가로 향상시킬 수 있는가?

주요 결과

• AdaLoss로 훈련된 작은 ANNs는 비적응형 가중치를 가진 더 큰 ANNs와 동일한 최종 정확도를 달성하지만, 각 정확도 수준에 더 빨리 도달한다.
• CIFAR-100에서 AdaLoss를 사용하는 작은 ANN은 일정 가중치를 사용하는 더 큰 ANN보다 조기 및 최종 예측 모두에서 뛰어난 효율성을 보였다.
• AdaLoss를 사용하는 작은 DenseANN169는 유사한 FLOPS를 사용하여 더 큰 MSDNet38의 최종 오차율을 따라잡는다. 이는 비용 효율성이 향상됨을 보여준다.
• ILSVRC에서 AdaLoss를 사용하는 EANN은 ResNets와 DenseNets의 선형 앙상블보다 우수하며, 최신 기술인 MSDNet에 가까운 성능을 달성한다.
• 학습된 AdaLoss 가중치는 더 어려운 데이터셋(예: CIFAR-100)에서는 후행 레이어에 더 집중되고, 더 쉬운 데이터셋(예: SVHN)에서는 더 분산되는 경향을 보이며, 이는 데이터 어려움에 자동으로 적응함을 시사한다.
• 성능 포화 상태에서 AdaLoss를 사용하는 EANN은 최종 예측을 지연시키지만, 최적 성능에 매우 가까이 유지되며, 이러한 영역에서 전략적 우위를 보인다.