[논문 리뷰] Minimizing the Maximal Loss: How and Why?

Shai Shalev‐Shwartz, Yonatan Wexler|arXiv (Cornell University)|2016. 02. 04.

Machine Learning and Algorithms참고 문헌 20인용 수 41

한 줄 요약

이 논문은 어떤 온라인 학습 알고리즘을 사용하여 학습 데이터에서 최대 손실을 최소화하는 데 변환하는 메타알고리즘 FOL(Follow the Optimal Loss)을 제안한다. 문제를 제로섬 게임으로 모델링하고 손실 가중치에 대한 반복적 갱신을 사용함으로써, FOL은 표준 SGD보다 빠른 수렴 속도와 더 나은 일반화 성능을 달성한다. 특히 희귀하거나 어려운 예제에서 유의미한 성능 향상을 보이며, 실험 결과는 근사적으로 0%의 훈련 오차와 향상된 테스트 성능를 보여준다.

ABSTRACT

A commonly used learning rule is to approximately minimize the \emph{average} loss over the training set. Other learning algorithms, such as AdaBoost and hard-SVM, aim at minimizing the \emph{maximal} loss over the training set. The average loss is more popular, particularly in deep learning, due to three main reasons. First, it can be conveniently minimized using online algorithms, that process few examples at each iteration. Second, it is often argued that there is no sense to minimize the loss on the training set too much, as it will not be reflected in the generalization loss. Last, the maximal loss is not robust to outliers. In this paper we describe and analyze an algorithm that can convert any online algorithm to a minimizer of the maximal loss. We prove that in some situations better accuracy on the training set is crucial to obtain good performance on unseen examples. Last, we propose robust versions of the approach that can handle outliers.

연구 동기 및 목표

• 딥 러닝에서 평균 손실 최소화의 한계를 해결하기 위해, 특히 어려운 예제에서 수렴 속도가 느린 문제를 다루기 위해.
• 희귀하거나 어려운 예제가 성능에 큰 영향을 미칠 경우, 최대 손실 최소화가 더 나은 일반화로 이어질 수 있음을 입증하기 위해.
• 외곽치에 민감하지 않으면서도 가장 어려운 훈련 예제에 집중하는 강력하고 효율적인 알고리즘을 개발하기 위해.
• 모든 훈련 예제—희귀한 것들까지—에서 높은 정확도를 달성하는 것이 새로운 데이터에서의 우수한 성능을 위한 핵심임을 보여주기 위해.

제안 방법

• FOL은 예제에 대한 가중치 벡터 p와 모델 파라미터 w 사이의 제로섬 게임으로 최대 손실 최소화 문제를 설정한다.
• 모델 파라미터 w에 대해 온라인 경사하강법을 사용하고, p에 대해 곱셈적 가중치 갱신을 적용하여 반복적으로 최대 손실을 최소화한다.
• 알고리즘은 훈련 예제에 대한 분포 p를 유지하며, 손실이 높은 예제에 집중하여 갱신한다.
• 각 반복 단계에서, p에 따라 샘플링된 배치를 사용해 SGD로 모델을 갱신하고, 잘못 분류되거나 손실이 큰 예제를 강조하기 위해 p를 갱신한다.
• 손실 함수를 부드럽게 하고, 극단적인 가중치를 피하기 위해 로그 장벽을 사용함으로써 알고리즘의 강건성을 향상시킨다.
• 이론적 분석을 통해, 데이터에 외곽치가 포함되어 있어도 FOL이 낮은 최대 손실을 갖는 해에 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 표준 SGD가 어려운 예제에서 수렴에 어려움을 겪는 온라인 학습 환경에서 최대 손실을 효율적으로 최소화할 수 있는가?
• RQ2 희귀하거나 분류가 어려운 예제에서 평균 손실 최소화보다 최대 손실 최소화가 더 나은 일반화 성능을 이끌 수 있는가?
• RQ3 모든 온라인 학습기를 최대 손실 최소화자로 변환할 수 있는 메타알고리즘을 설계할 수 있는가, 동시에 훈련 효율성을 손상시키지 않고?
• RQ4 실제로 최대 손실 최소화의 성능가 AdaBoost 및 기타 앙상블 방법과 비교해 볼 때 어떻게 되는가?
• RQ5 최대 손실 최소화의 강건한 변형은 외곽치를 다룰 수 있으며, 동시에 강력한 일반화 성능을 유지할 수 있는가?

주요 결과

• FOL은 27 에포크 후에 훈련 오차가 0%에 도달했고, SGD는 0.1313% 오차에 도달하기 위해 14,000 에포크 이상이 소요되어 수렴 속도가 현저히 빠르다는 것을 보여주었다.
• FOL은 테스트 오차 0.14%를 기록하여, 장기간 훈련을 거친 후에도 SGD의 0.35% 오차를 능가하여 일반화 성능 향상을 입증했다.
• FOL의 수렴은 정보가 많은 예제에 집중함에 의해 이뤄지며, 전체 246,000개 예제 중 단 984개만 어려운 예제였고, FOL은 이를 효율적으로 대상으로 삼았다.
• FOL의 최종 가설은 훈련 오차가 0%였지만, AdaBoost의 10개의 약한 학습기 앙상블는 20 에포크가 걸리고 추론 시 10배 느렸다.
• 이론적 분석을 통해, 희귀한 예제가 일반화에 핵심적인 역할을 할 경우, 평균 손실 최소화보다 최대 손실 최소화가 더 효과적일 수 있음을 보여주었다.
• FOL의 강건한 변형은 외곽치가 있는 상황에서도 성능을 유지하며, 스무딩과 정규화를 통해 최대 손실 최소화가 외곽치에 대해 저항력 있는 방법이 될 수 있음을 입증했다.