[논문 리뷰] Multi-marginal optimal transport and probabilistic graphical models

Isabel Haasler, Rahul Singh외 3명|arXiv (Cornell University)|2020. 06. 25.

Bayesian Modeling and Causal Inference참고 문헌 56인용 수 10

한 줄 요약

이 논문은 그래프 구조를 가진 비용 함수를 가진 엔트로피 정규화된 다중모ーメント 최적 운반(MOT)과 일부 주변확률가 제약된 확률적 그래픽 모델(PGM)에서의 베이지안 추론 사이의 등가성을 확립한다. 메시지 전파 알고리즘과 노름-곱 알고리즘과 같은 메시지 전파 기반 알고리즘을 활용하여, 트리 구조를 가진 그래프에서 전역 수렴을 보장하는 MOT 문제에 대한 효율적인 해법을 도출한다. 이는 기존 PGM 추론 기법을 활용한 확장 가능한 계산을 가능하게 한다.

ABSTRACT

We study multi-marginal optimal transport problems from a probabilistic graphical model perspective. We point out an elegant connection between the two when the underlying cost for optimal transport allows a graph structure. In particular, an entropy regularized multi-marginal optimal transport is equivalent to a Bayesian marginal inference problem for probabilistic graphical models with the additional requirement that some of the marginal distributions are specified. This relation on the one hand extends the optimal transport as well as the probabilistic graphical model theories, and on the other hand leads to fast algorithms for multi-marginal optimal transport by leveraging the well-developed algorithms in Bayesian inference. Several numerical examples are provided to highlight the results.

연구 동기 및 목표

• 엔트로피 정규화된 다중모멘트 최적 운반(MOT)과 확률적 그래픽 모델(PGM)에서 제약된 베이지안 추론 사이의 이론적 등가성을 확립하는 것.
• 믿음 전파와 노름-곱 알고리즘과 같은 잘 알려진 메시지 전파 기법을 변형하여 MOT 문제를 위한 효율적인 수치 알고리즘을 개발하는 것.
• 기본 그래픽 구조가 트리일 경우 제안된 알고리즘의 전역 수렴 보장을 제공하는 것.
• 그래프 구조를 가진 비용 함수에 내재된 흐물러짐과 국소적 구조를 활용하여 MOT 문제의 확장 가능한 계산을 가능하게 하는 것.

제안 방법

• 저자들은 엔트로피 정규화된 MOT 문제를 특정 주변확률가 고정된 분포를 가지는 PGM 내의 제약된 추론 문제로 재구성한다.
• 원시-이중 최적화 프레임워크를 사용하여 이중 상승 업데이트를 유도하며, 이는 믿음 전파와 노름-곱 알고리즘에 대한 닫힌 형태의 메시지 업데이트를 이끌어낸다.
• 메시지는 이중 변수의 지수 변환을 통해 업데이트되며, 고정된 주변확률이 있는 노드(Γ)와 자유 주변확률이 있는 노드에 대해 각각 다른 업데이트 규칙을 적용한다.
• 노름-곱 알고리즘은 제약된 MOT 설정에 확장되어 국소적이고 반복적인 메시지 전파를 통해 효율적인 계산을 가능하게 한다.
• 트리 구조를 가진 그래프의 경우, 이 방법은 MOT 문제의 최적 해로의 전역 수렴을 보장한다.
• 비용 함수의 그래픽 구조를 활용하여 계산 복잡도를 감소시켜 고차원 MOT 문제에 대한 확장 가능한 해법을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화된 다중모멘트 최적 운반은 확률적 그래픽 모델에서 고정된 주변확률이 있는 제약된 추론 문제로 해석될 수 있는가?
• RQ2 기존의 PGM에서의 메시지 전파 알고리즘은 어떻게 구조적 비용 함수를 가진 MOT 문제를 해결하도록 적응시킬 수 있는가?
• RQ3 기본 그래프가 트리일 경우 제안된 알고리즘의 수렴 행동은 어떠한가?
• RQ4 비용 함수의 그래픽 구조를 활용하면 MOT의 계산 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ5 유도된 메시지 업데이트는 싱크혼 반복 또는 믿음 전파와 같은 기존 알고리즘과 어떻게 관련이 있는가?

주요 결과

• 그래프 구조를 가진 비용 함수를 가진 엔트로피 정규화된 MOT 문제는 고정된 주변확률이 있는 PGM 내의 베이지안 추론 문제와 수학적으로 등가이다.
• 기본 그래픽 모델이 트리일 경우 제안된 알고리즘이 최적 해로의 전역 수렴을 보장하며, PGM에서의 이론적 보장을 MOT로 확장한다.
• 고정된 주변확률이 있는 노드(j ∈ Γ)의 경우, 메시지 업데이트는 주어진 주변확률 분포 μj(xj)에 의존하지만, 자유 주변확률이 있는 노드의 경우 사전 분포 φj(xj)에 의존한다.
• 노름-곱 알고리즘이 성공적으로 MOT 설정으로 확장되어, MOT에 대한 표준 반복 스케일링 대비 확장 가능하고 효율적인 대안을 제공한다.
• 수치 예제를 통해 방법의 효과성을 입증하였으며, 합성 및 실제 MOT 사례에서 빠른 수렴과 정확한 해를 보였다.
• 유도된 메시지 업데이트는 알려진 알고리즘과 일관되며, 비용 함수가 분리 가능하고 주변확률이 Dirac일 경우 이는 표준 최적 운반으로 축소된다.