[논문 리뷰] Learning to Match via Inverse Optimal Transport

Ruilin Li, Xiaojing Ye외 2명|arXiv (Cornell University)|2018. 02. 10.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 노이즈가 많고 완전하지 않은 경험적 매칭 데이터로부터 비선형적이고 적응형 매칭 비용 함수를 학습하기 위해 역 최적 운반 이론 기반의 데이터 기반 프레임워크를 제안한다. 인구집단을 확률 분포로 모델링하고, 정규화된 워셔슈타인 거리로 변량을 완화함으로써, 교차 최적화를 통해 비볼록 최적화 문제를 효율적으로 해결함으로써, 온라인 데이팅, 노동시장, 대학 입학과 같은 맥락에서 매칭의 강건한 예측과 해석을 가능하게 한다.

ABSTRACT

We propose a unified data-driven framework based on inverse optimal transport that can learn adaptive, nonlinear interaction cost function from noisy and incomplete empirical matching matrix and predict new matching in various matching contexts. We emphasize that the discrete optimal transport plays the role of a variational principle which gives rise to an optimization-based framework for modeling the observed empirical matching data. Our formulation leads to a non-convex optimization problem which can be solved efficiently by an alternating optimization method. A key novel aspect of our formulation is the incorporation of marginal relaxation via regularized Wasserstein distance, significantly improving the robustness of the method in the face of noisy or missing empirical matching data. Our model falls into the category of prescriptive models, which not only predict potential future matching, but is also able to explain what leads to empirical matching and quantifies the impact of changes in matching factors. The proposed approach has wide applicability including predicting matching in online dating, labor market, college application and crowdsourcing. We back up our claims with numerical experiments on both synthetic data and real world data sets.

연구 동기 및 목표

• 실제 응용에서 노이즈가 많고 완전하지 않거나 편향된 경험적 매칭 데이터로부터 신뢰할 수 있는 매칭 비용을 학습하는 데 도전한다.
• 관측된 매칭을 예측하고 설명할 수 있도록, 알려지지 않은 비용 함수를 가진 최적 운반 문제로 매칭을 통합적으로 모델링하는 프레임워크를 개발한다.
• 잠재적 특징과 공급 제약 조건을 원칙적인 최적화 기반 모델에 통합하여 실제 시장의 동적 변화를 반영한다.
• 정규화된 워셔슈타인 거리로 변량을 완화함으로써 데이터의 완전성 부족에 대한 강건성을 향상시킨다.
• 변경된 매칭 요소의 영향을 정량화할 수 있는 해석 가능한 비용 함수를 학습함으로써 사전 분석 기능을 실현한다.

제안 방법

• 관측된 매칭이 잠재 비용 함수의 최소화로 인해 발생한다고 가정하고, 매칭 문제를 역 최적 운반 작업으로 공식화한다.
• 각 측면의 개인들을 확률 분포로 모델링하고, 비용 함수는 커널화된 특징 상호작용 행렬 $A$에서 유도한다.
• 경험적 분포 $\hat{\mu}$ 및 $\hat{\nu}$의 변량을 완화하기 위해 두 개의 보조 비용 행렬 $C_u$ 및 $C_v$ 를 도입하여 강건성을 향상시킨다.
• 특징을 강화한 변량 분포를 학습하기 위해 정규화된 워셔슈타인 거리를 사용하여, 완전하지 않거나 노이즈가 많은 데이터를 효과적으로 처리할 수 있다.
• 교차 최적화 알고리즘을 통해 결과 비볼록 최적화 문제를 해결하며, 반복적으로 다음을 업데이트한다: (1) 특징 상호작용 행렬 $A$ 및 쌍대 변수 $\boldsymbol{\mu}, \boldsymbol{\nu}$, (2) 변량 완화 행렬 $C_u, C_v$, (3) 쌍대 변수 $\boldsymbol{z}, \boldsymbol{w}$.
• Projected gradient 방법을 사용해 $C_u$ 및 $C_v$ 를 업데이트하고, Sinkhorn-Knopp 알고리즘을 활용해 쌍대 변수를 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 완전하지 않은 경험적 데이터로부터 비선형적이고 적응형 비용 함수를 어떻게 학습할 수 있는가?
• RQ2 정규화된 워셔슈타인 거리는 누락되거나 편향된 데이터가 있는 매칭 문제에서 강건성을 얼마나 향상시킬 수 있는가?
• RQ3 역 최적 운반을 활용해 실제 매칭 시스템을 모델링하면서도 해석 가능성과 예측 성능를 유지할 수 있는가?
• RQ4 $C_u$ 및 $C_v$ 를 통한 변량 완화가 공급 제약 조건과 데이터의 완전성 부족을 다룰 수 있는 모델 능력을 어떻게 향상시키는가?
• RQ5 학습된 비용 함수는 개인의 특징 변화가 최종 매칭 결과에 미치는 영향을 설명할 수 있는가?

주요 결과

• 제안된 프레임워크는 합성 및 실제 데이터셋 모두에서 비선형적이고 적응형 비용 함수를 성공적으로 학습하여, 완전하지 않거나 노이즈가 많은 데이터에 대해 강력한 일반화 성능을 보였다.
• 정규화된 워셔슈타인 거리로 변량을 완화함으로써 강건성이 크게 향상되었으며, 특히 경험적 매칭 데이터가 희박하거나 편향된 경우에 두드러졌다.
• 교차 최적화 알고리즘이 효율적으로 수렴하여 온라인 데이팅, 대학 입학, 노동시장과 같은 다양한 분야에서 새로운 매칭을 높은 정확도로 예측하는 데 성공했다.
• 특징 변화가 매칭 결과에 미치는 영향을 정량화함으로써 모델이 사전 분석을 가능하게 하였으며, 관측된 매칭의 주요 원인을 해석 가능한 통찰으로 제공하였다.
• 수치 실험 결과, 데이터 불확실성 하에서 기준 대비 예측 정확도와 안정성 면에서 본 방법이 뛰어난 성능을 보였다.
• 프레임워크는 확장 가능하고 실용적이며, 두 단계 학습 전략을 제안한다: 먼저 $C_u$ 및 $C_v$ 를 학습하고, 그 다음 RIOT를 사용해 주요 비용 행렬 $C(A)$ 를 학습함으로써 계산 비용을 줄였다.