[논문 리뷰] Optimizing Black-box Metrics with Adaptive Surrogates

Qijia Jiang, Olaoluwa Adigun외 3명|arXiv (Cornell University)|2020. 02. 20.

Machine Learning and Algorithms참고 문헌 31인용 수 4

한 줄 요약

이 논문은 F-measure나 Precision@K와 같은 블랙박스 기계학습 평가 지표를 최적화하기 위한 방법을 제안한다. 이 방법은 이러한 지표를 작은 수의 미분 가능한 대체 손실 함수의 단조 증가 함수로 모델링함으로써 작동한다. 대체 공간에서의 기울기를 유한차분과 국소 선형 보간을 사용해 추정하고, 이를 바탕으로 근사적인 투영 경사하강법을 수행함으로써 매끄러움 조건 하에서 수렴성을 확보하며, 지표의 수학적 형태가 알려져 있지 않은 경우에도 알려진 지표 기반 방법과 유사한 성능을 달성한다.

ABSTRACT

We address the problem of training models with black-box and hard-to-optimize metrics by expressing the metric as a monotonic function of a small number of easy-to-optimize surrogates. We pose the training problem as an optimization over a relaxed surrogate space, which we solve by estimating local gradients for the metric and performing inexact convex projections. We analyze gradient estimates based on finite differences and local linear interpolations, and show convergence of our approach under smoothness assumptions with respect to the surrogates. Experimental results on classification and ranking problems verify the proposal performs on par with methods that know the mathematical formulation, and adds notable value when the form of the metric is unknown.

연구 동기 및 목표

• 닫힌 형태의 기울기가 제공되지 않는 비분해 가능하고 최적화가 어려운 평가 지표를 다루는 데 도전하는 것.
• 모델의 기울기 계산이 가능한 작은 수의 대체 손실 함수로 블랙박스 지표를 표현함으로써, 블랙박스 지표를 사용한 모델 훈련을 가능하게 하는 것.
• 지표의 수학적 형태가 필요로 하지 않는 기울기 기반 최적화 프레임워크를 개발하여, 진짜 레이블이 포함된 소규모 검증 세트를 활용하는 것.
• 알 수 없는 지표 함수에 대해 매끄러움 조건이 만족될 경우, 정적점에 수렴함을 보장하는 것.
• 실증적으로 제안된 방법이 지표 인식 기반 기준선과 유사한 성능을 보이며, 지표의 수학적 형태가 실제로 알려져 있지 않은 경우 성능 향상을 제공함을 검증하는 것.

제안 방법

• K차원의 대체 공간에서 최적화 문제를 설정하며, 여기서 K << d이며, d는 모델 파라미터의 수이다.
• 블랙박스 지표 M을 K개의 대체 손실 ℓ(θ)에 대한 알려지지 않은 단조 증가 함수 ψ: ℝ₊ᴷ → ℝ로 모델링한다.
• 모델 파라미터의 변형에 기반한 유한차분과 국소 선형 보간을 사용하여, 대체 손실에 대한 ψ의 기울기를 추정한다.
• 원래의 파라미터 공간에서의 볼록 최적화 문제를 푸는 방식으로, 근사적인 투영을 계산함으로써 대체 공간에서의 투영 경사하강법을 수행한다.
• 적응형 스텝 사이즈와 펌프터베이션 기반 기울기 추정을 사용하며, 대체 함수 ψ에 대한 매끄러움 조건 하에서 수렴 보장을 갖는다.
• 소규모 검증 세트를 사용하여 지표 추정을 유도함으로써, 분류, 랭킹, 프록시 레이블 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 지표의 수학적 형태가 알려져 있거나, 비가역적인 경우에 기계학습에서 블랙박스 지표를 최적화할 수 있는가?
• RQ2 해석적 도함수가 제공되지 않는 블랙박스 지표의 기울기를 추정하는 데 효과적인 방법은 무엇인가?
• RQ3 대체 기반 기울기 추정을 사용하여 블랙박스 지표 최적화에서 정적점에 수렴할 수 있는가?
• RQ4 지표의 형태가 알려진 경우, 제안된 방법이 지표 인식 기반 훈련 접근법과 경쟁력을 갖출 수 있는가?
• RQ5 진짜 지표가 블랙박스이고 사전에 수식이 제공되지 않은 경우, 이 방법이 성능 향상에 기여할 수 있는가?

주요 결과

• 지표의 수학적 형태가 알려져 있지 않은 경우에도, F-measure 작업에서 테스트 G-mean이 0.803에 도달하여 최고의 기준선 방법과 유사한 성능을 달성하였다.
• 단지 10개의 펌프터베이션만으로도 Business 데이터셋에서 매크로 F-measure가 0.796에 도달하였으며, 이는 1000개의 펌프터베이션을 사용한 결과와 거의 동일했다.
• KDD Cup 2008 랭킹 작업에서는 배치 크기가 100이고 고정된 σ = 1.5를 사용하여, 여러 실행 간에 안정적인 성능을 보였다.
• 국소 선형 보간을 통한 기울기 추정 오차는 K에 대해 약한 의존성을 보였으며, K가 2에서 10으로 증가함에 따라 평균 제곱 오차가 천천히 증가하였다.
• 훈련 레이블이 노이즈가 있으며 진짜 지표가 알려져 있지 않은 프록시 레이블 학습 시나리오에서, 이 방법이 기준선을 능가하였다.
• 이론적 분석을 통해 알려지지 않은 함수 ψ(대체 손실에서 지표로의 사상)에 대해 매끄러움 조건이 만족될 경우, 정적점으로의 수렴이 보장됨을 보였다.