[논문 리뷰] Decision-Focused Learning: Through the Lens of Learning to Rank

Jayanta Mandi, Víctor Bucarey외 2명|arXiv (Cornell University)|2021. 12. 07.

Machine Learning and Data Classification인용 수 16

한 줄 요약

이 논문은 의사결정 중심 학습을 목적 함수 값에 따라 타당한 해를 순위 매기는 문제로 재구성한다. 목적 함수 값에 따라 타당한 해를 순위 매기는 것을 목표로 하는 학습-순위 매기기 문제로 재구성한다. 기존 작업을 일반화하는 미분 가능한 점별, 쌍별, 리스트형 순위 매기기 손실 함수를 도입하여 최적화 호출 횟수를 줄이고, 솔루션 부분 집합 샘플링을 통해 낮은 회귀와 함께 훈련 효율성을 향상시키는 엔드 투 엔드 훈련을 가능하게 한다.

ABSTRACT

In the last years decision-focused learning framework, also known as predict-and-optimize, have received increasing attention. In this setting, the predictions of a machine learning model are used as estimated cost coefficients in the objective function of a discrete combinatorial optimization problem for decision making. Decision-focused learning proposes to train the ML models, often neural network models, by directly optimizing the quality of decisions made by the optimization solvers. Based on a recent work that proposed a noise contrastive estimation loss over a subset of the solution space, we observe that decision-focused learning can more generally be seen as a learning-to-rank problem, where the goal is to learn an objective function that ranks the feasible points correctly. This observation is independent of the optimization method used and of the form of the objective function. We develop pointwise, pairwise and listwise ranking loss functions, which can be differentiated in closed form given a subset of solutions. We empirically investigate the quality of our generic methods compared to existing decision-focused learning approaches with competitive results. Furthermore, controlling the subset of solutions allows controlling the runtime considerably, with limited effect on regret.

연구 동기 및 목표

• 의사결정 중심 학습을 목적 함수 값에 따라 타당한 해를 순위 매기는 문제로 재구성하는 것, 즉 목적은 목적 함수 값에 따라 타당한 해를 순위 매기는 것이다.
• 기계학습 모델을 의사결정 중심 설정에서 훈련할 수 있는, 점별, 쌍별, 리스트형의 미분 가능한 순위 매기기 손실 함수를 개발하는 것.
• 쌍별 순위 매기기 손실 함수가 이전 연구에서 제안한 노이즈 대비 추정 손실을 일반화하며, 원칙적인 방식으로 이를 향상시키는 것.
• 선형 목적 함수 조건 하에서 예측의 평균 제곱 오차(MSE)와 의사결정 품질의 회귀 간의 상호관계를 조사하는 것.
• 훈련 중에 타당한 해의 부분 집합을 샘플링하는 것이 런타임에 미치는 영향과 회귀에 미치는 영향을 최소화하면서도 런타임을 크게 줄이는 것

제안 방법

• 의사결정 중심 학습을 학습-순위 매기기(LTR) 문제로 간주하여, 모델이 목적 함수 값에 따라 타당한 해를 순위 매우 수 있도록 학습하는 방식을 제안한다.
• 세 가지의 미분 가능한 순위 매기기 손실 함수인 점별, 쌍별, 리스트형을 도입하며, 이는 해의 부분 집합이 주어지면 모두 닫힌 형태로 계산 가능하다.
• 선형 목적 함수의 경우, 점별 손실과 쌍별 차이 손실이 MSE와 회귀 간의 트레이드오프를 나타낸다는 것을 도출한다.
• 훈련 중 최적화 호출 수를 줄이기 위해 솔루션 부분 집합 샘플링(p_solve)을 활용하며, 해 생성과 손실 계산을 분리한다.
• 예측 정확도와 의사결정 품질을 균형 잡기 위해 MSE와 리스트형 순위 매기기 손실의 볼륨 조합을 사용하며, 조정 가능한 하이퍼파rameter α를 사용한다.
• 표준 최적화 솔버를 사용하여 해 부분 집합을 생성하고, 이들을 사용해 순위 매기기 손실을 계산하며, 모든 타당한 해를 완전히 나열할 필요 없이도 가능하다.

실험 결과

연구 질문

• RQ1 의사결정 중심 학습을 목적 함수 값에 따라 타당한 해를 순위 매기는 문제로 더 일반적으로 재구성할 수 있는가?
• RQ2 기존 의사결정 중심 학습 방법과 비교하여, 표준 학습-순위 매기기 손실 함수(점별, 쌍별, 리스트형)의 성능은 어떤가? 특히 회귀와 훈련 효율성 측면에서.
• RQ3 의사결정 중심 학습에서 타당한 해 집합을 샘플링하는 것의 정도가 회귀와 훈련 시간에 어떤 영향을 미치는가?
• RQ4 선형 목적 함수 조건 하에서 예측의 평균 제곱 오차(MSE)와 회귀 간의 관계는 어떠한가?
• RQ5 MSE와 리스트형 순위 매기기 손실을 조합한 하이브리드 손실은 예측 정확도와 의사결정 품질 간의 트레이드오프를 어떻게 향상시킬 수 있는가?

주요 결과

• 쌍별 차이 손실 함수는 Mulamba 등(2021)에서 제안한 노이즈 대비 추정 손실을 일반화하며, 더 원칙적이고 효과적인 설정을 제공한다.
• 리스트형 순위 매기기 손실 함수는 모든 문제 인스턴스에서 가장 낮은 회귀를 달성하며, 모델의 잘못된 특정화에 대해 강건함을 보였다.
• 해 샘플링 비율(p_solve)을 100%에서 10%로 줄임으로써 에포크당 훈련 시간을 최대 75%까지 줄일 수 있었으며, 이는 높은 효율성 향상을 보여주었다.
• 점별 손실 함수는 가장 낮은 MSE를 달성했지만, 가장 높은 회귀를 보였으며, 이는 예측 정확도와 의사결정 품질 간의 괴리가 있음을 시사한다.
• 쌍별 차이 손실 함수는 MSE는 리스트형보다 略적으로 우수하고, 회귀는 최고 성능을 보인 방법들과 유사하여 유리한 균형을 이룬다.
• MSE와 리스트형 순위 매기기 손실을 조합한 하이브리드 손실은 하이퍼파rameter α를 통해 예측 정확도와 의사결정 품질 간의 트레이드오프를 조정 가능하게 하여, 특정 응용 요구사항에 맞는 모델 적응을 가능하게 한다.