[논문 리뷰] Recent Advances in Optimal Transport for Machine Learning

Eduardo Fernandes Montesuma, Fred Ngolè Mboula외 1명|arXiv (Cornell University)|2023. 06. 28.

Machine Learning and ELM인용 수 4

한 줄 요약

이 종합 검토는 2012년에서 2022년까지 기계 학습에서 최적 운반(Optimal Transport, OT)의 최근 발전을 다루며, 지도 학습, 비지도 학습, 전이 학습 및 강화 학습에서의 거리 척도, 손실 함수, 정규화 요소, 변환 도구로의 응용을 포함한다. 프로젝션-로버스트 및 미니배치 OT와 같은 새로운 계산 방법을 강조하며, 생성 모델링, 도메인 적응, 분포 기반 강화 학습에서 OT의 역할을 이론적이고 경험적으로 제시한다.

ABSTRACT

Recently, Optimal Transport has been proposed as a probabilistic framework in Machine Learning for comparing and manipulating probability distributions. This is rooted in its rich history and theory, and has offered new solutions to different problems in machine learning, such as generative modeling and transfer learning. In this survey we explore contributions of Optimal Transport for Machine Learning over the period 2012 -- 2023, focusing on four sub-fields of Machine Learning: supervised, unsupervised, transfer and reinforcement learning. We further highlight the recent development in computational Optimal Transport and its extensions, such as partial, unbalanced, Gromov and Neural Optimal Transport, and its interplay with Machine Learning practice.

연구 동기 및 목표

• 2012년에서 2022년까지 최적 운반의 기계 학습에서의 역할에 대한 종합적이고 최신의 검토를 제공하는 것.
• 프로젝션-로버스트, 구조적, 신경망 기반, 미니배치 OT 방법을 포함한 최적 운반의 최근 계산적 발전을 식별하고 분석하는 것.
• 지도 학습, 비지도 학습, 전이 학습 및 강화 학습이라는 네 가지 핵심 기계 학습 하위 분야에서 OT의 응용을 탐구하는 것.
• 이전의 종합 검토에서 다루지 않은 새로운 기여, 예를 들어 공정성, 사전 학습, 분포 기반 강화 학습에서의 OT를 부각하는 것.
• 최적 운반 이론과 실질적인 기계 학습 구현 간의 상호작용을 명확히 하는 것, 특히 딥 러닝과 확률 모델링에서의 응용을 중심으로 한다.

제안 방법

• 최적 운반의 몽게-칸토로비치(Monge-Kantorovich, MK) 공식화를 주요 이론적 기초로 사용하여, 한 분포에서 다른 분포로 질량을 운반하는 최소 비용으로 워셔스타인 거리(Wasserstein distance)를 정의한다.
• MK 공식화를 적용하여 OT를 거리 척도(예: 워셔스타인 거리), 손실 함수(예: WGAN 및 WDGRL에서의 응용), 정규화 요소(예: WAE 및 WQL에서의 응용)로 정의한다.
• 생성 모델에서 미분 가능한 OT를 위해 코스테-루빈스타인(Knothe-Rubinstein, KR) 공식화를 도입하여, OT 레이어를 통한 역전파를 가능하게 한다.
• 정책 최적화에서 연속 시간 동역학을 모델링하기 위해 브어스-버누아(Bures-Bernoulli, BB) 공식화를 활용하며, 이를 확률 측도 공간에서의 기울기 유동으로 프레임워크화한다.
• 구조적 및 프로젝션-로버스트 OT를 활용하여 고차원 및 복잡한 데이터 환경에서의 확률적 효율성과 확장성을 향상시킨다.
• 워셔스타인 바리센터와 기하선을 통한 데이터 집계를 적용하여, 도메인 적응 및 클러스터링에서 이질적인 확률 분포 간의 보간 및 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 2012년에서 2022년까지 최적 운반은 지도 학습, 비지도 학습, 전이 학습 및 강화 학습 분야에서 어떻게 기계 학습을 발전시켰는가?
• RQ2 딥 러닝 및 대규모 기계 학습에의 통합을 가능하게 한 최적 운반의 핵심 계산 혁신은 무엇인가?
• RQ3 생성 모델링 및 도메인 적응에서 기존의 손실 함수(예: KL 발산)에 비해 OT는 어떤 원칙적인 대안이 되는가?
• RQ4 구조적 데이터 및 다중 소스 도메인 적응 환경에서 OT는 더 공정하고 강건한 학습을 어떻게 가능하게 하는가?
• RQ5 분포 기반 강화 학습에서 OT의 역할은 무엇이며, 불확실성 전파 및 정책 최적화를 향상시키는 데 어떻게 기여하는가?

주요 결과

• 최적 운반은 통계적이고 위상적으로 잘 정의된 거리 척도인 워셔스타인 거리(Wasserstein distance)를 제공하며, 약한 수렴 하에서의 연속성과 안정성 덕분에 생성 모델링에서 KL 발산보다 뛰어난 성능을 보인다.
• 프로젝션-로버스트 및 미니배치 OT 방법의 사용은 대규모 및 고차원 데이터에서의 계산 효율성과 확장성을 크게 향상시킨다.
• 워셔스타인 GAN(WGAN)과 WDGRL은 OT를 학습 손실로 사용함으로써 생성 모델링 및 도메인 적응에서 최고 성능을 달성하며, 더 안정적인 학습 역학을 가능하게 한다.
• 워셔스타인 바리센터와 기하선은 확률 분포의 원칙적인 보간 및 집계를 가능하게 하며, 도메인 적응 및 클러스터링에의 응용이 가능하다.
• 강화 학습에서 WQL 알고리즘은 Q-분포 업데이트에 워셔스타인 바리센터를 사용하여 분포 기반 역학 이론에 기반한 이론적 기반을 확보한 강력한 성능을 달성한다.
• 이 종합 검토는 신경망을 통해 OT 매핑을 매개변수화하는 경향이 증가하고 있음을 식별하며, 이는 현대 딥 러닝 아키텍처에서 엔드 투 엔드로 미분 가능한 OT 레이어를 가능하게 한다.