[논문 리뷰] Learning Effective Loss Functions Efficiently

M. J. V. Streeter|arXiv (Cornell University)|2019. 06. 28.

Machine Learning and Data Classification참고 문헌 23인용 수 5

한 줄 요약

이 논문은 검증 오차의 기울기 정보를 활용하여 최적의 선형 손실 함수를 효율적으로 학습하는 anytime 알고리즘인 LearnLoss를 제안한다. 이는 빠른 초모수 튜닝과 온라인 정규화자 적응을 가능하게 하며, 기존 방법보다 수개의 주기 빠르게 작동하면서 渐近 최적성과 실용적인 일반화 성능 향상을 유지한다.

ABSTRACT

We consider the problem of learning a loss function which, when minimized over a training dataset, yields a model that approximately minimizes a validation error metric. Though learning an optimal loss function is NP-hard, we present an anytime algorithm that is asymptotically optimal in the worst case, and is provably efficient in an idealized "easy" case. Experimentally, we show that this algorithm can be used to tune loss function hyperparameters orders of magnitude faster than state-of-the-art alternatives. We also show that our algorithm can be used to learn novel and effective loss functions on-the-fly during training.

연구 동기 및 목표

• 비미분 가능하거나 관련성이 낮은 검증 지표를 최소화하는 손실 함수 선택 문제를 해결하기 위해, 단지 학습 손실을 최소화하는 데서 넘어서는 것.
• 기본 문제의 NP-완전성에도 불구하고, 증명 가능한 보장을 갖춘 효율적이고 anytime인 알고리즘으로 효과적인 손실 함수를 학습하는 것.
• 특히 고차원 초모수 공간에서의 과적합을 방지하기 위해 학습 중 정규화자를 온라인으로 학습할 수 있도록 하는 것.
• 특히 손실 함수 초모수 수가 많은 환경에서, 기존 초모수 튜닝 방법보다 빠르고 효과적으로 작동하도록 하는 것.

제안 방법

• 모델 파라미터에서 유도된 특징의 선형 조합을 최소화함으로써 얻어지는 모델의 검증 오차를 최소화하는 방식으로 손실 함수 학습 문제를 이중 최적화 문제로 공식화한다.
• ℓλ(θ) = λ · φ(θ) 형태로 손실 함수를 특징 벡터 φ(θ)의 선형 함수로 표현하며, 여기서 λ ∈ ℛᵏ는 학습 가능한 초모수이다.
• 볼록 프로그래밍을 사용하여 문제를 해결하며, 수렴 속도를 높이기 위해 검증 오차의 기울기 정보 ∇ẽ(θ)를 통합한다.
• 이算法는 점진적으로 손실 함수 추정치를 향상시키는 anytime 알고리즘으로, 최악의 경우에 渐近 최적성에 대한 이론적 보장을 갖춘다.
• 두 가지 설정에서 방법을 적용한다: (1) 소규모 데이터 서브셋에서의 모델 학습을 통한 오프라인 초모수 튜닝, (2) 따뜻한 시작 최적화를 사용한 학습 중 온라인 적응.
• 비미분 가능한 지표(예: top-1 정확도)를 위한 미분 가능 대체 지표를 활용하여 손실 함수의 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 지표를 최소화하는 선형 손실 함수를 학습할 수 있는 효율적이고 anytime인 알고리즘을 설계할 수 있는가, 특히 지표가 비미분 가능할 경우에도 말이다?
• RQ2 검증 오차의 기울기 정보를 효과적으로 활용하여 최적의 손실 함수 초모수를 찾는 데에 얼마나 빠르게 접근할 수 있는가?
• RQ3 제안된 방법은 학습 도중 실시간으로 효과적인 정규화자를 학습할 수 있으며, 사전 초모수 튜닝 없이 일반화 성능을 향상시킬 수 있는가?
• RQ4 속도와 최종 모델 정확도 측면에서, 이 알고리즘은 기존 최첨단 초모수 튜닝 방법보다 어떻게 성능을 냈는가?
• RQ5 특히 온라인 학습 환경에서, 수백 개의 초모수를 가진 손실 함수에 대해 이 방법은 어느 정도 확장 가능한가?

주요 결과

• LearnLoss 알고리즘은 최첨단 대안들보다 수개의 주기 빠르게 초모수 튜닝을 수행하며, 탐색 효율성에서 기존 방법을 크게 앞서간다.
• 결장 조직형태학 데이터셋에서, LearnLoss는 AdaGrad가 최대 1000 에포크 동안 검증 및 테스트 로그 손실을 계속 개선하는 데 기여했으며, 표준 AdaGrad는 약 35 에포크 후 과적합을 보였다.
• 학습 도중 정규화자 값이 변화하며, 후반부로 갈수록 더 강한 정규화가 적용되는 것으로 나타나, 데이터 기반의 적응형 정규화를 보여주었다.
• 최적의 표준 정규화자 조합(L1, L2, 레이블 스무딩, 드롭아웃)을 사용한 경우보다도 더 낮은 테스트 로그 손실과 더 나은 확률 캘리브레이션을 달성했다. 이는 top-1 정확도 향상 없이도 성능 향상을 이룬 것이다.
• 모든 평가된 데이터셋에서, 알고리즘은 학습 도중 실시간으로 새로운 효과적인 정규화자를 학습하여 과적합을 방지하고 일반화 성능을 향상시켰다.
• 이론적 분석을 통해 LearnLoss가 최악의 경우에 渐近 최적성이 보장되며, 이상적인 '쉬운' 경우에서는 증명 가능한 효율성도 확보되었으며, 실용적 성능 역시 뛰어나다는 것이 확인되었다.