[논문 리뷰] Stochastic control liaisons: Richard Sinkhorn meets Gaspard Monge on a Schroedinger bridge

Yongxin Chen, Tryphon T. Georgiou외 1명|arXiv (Cornell University)|2020. 05. 22.

Topological and Geometric Data Analysis참고 문헌 197인용 수 5

한 줄 요약

이 논문은 슈뢰딩거 브리지 문제, 최적 질량 운반(OPT, optimal mass transport, OMT), 그리고 확률적 제어를 통합하는 프레임워크를 수립한다. 슈뢰딩거 브리지 문제에서 균일한 사전확률을 가질 경우, 이는 제곱비용을 가진 OMT의 정규화된 형태임을 보이며, 싱크호른 알고리즘이 포르테의 연속적 반복 방법의 이산적 대응임을 밝힌다. 핵심 기여는 확률적 제어와 자유 에너지 최소화를 통해 고전적 문제들과 현대 계산 방법 간의 엄밀한 연결을 확립하는 데 있다.

ABSTRACT

In 1931/32, Schroedinger studied a hot gas Gedankenexperiment, an instance of large deviations of the empirical distribution and an early example of the so-called maximum entropy inference method. This so-called Schroedinger bridge problem (SBP) was recently recognized as a regularization of the Monge-Kantorovich Optimal Mass Transport (OMT), leading to effective computation of the latter. Specifically, OMT with quadratic cost may be viewed as a zero-temperature limit of SBP, which amounts to minimization of the Helmholtz's free energy over probability distributions constrained to possess given marginals. The problem features a delicate compromise, mediated by a temperature parameter, between minimizing the internal energy and maximizing the entropy. These concepts are central to a rapidly expanding area of modern science dealing with the so-called {\em Sinkhorn algorithm} which appears as a special case of an algorithm first studied by the French analyst Robert Fortet in 1938/40 specifically for Schroedinger bridges. Due to the constraint on end-point distributions, dynamic programming is not a suitable tool to attack these problems. Instead, Fortet's iterative algorithm and its discrete counterpart, the Sinkhorn iteration, permit computation by iteratively solving the so-called {\em Schroedinger system}. In both the continuous as well as the discrete-time and space settings, {\em stochastic control} provides a reformulation and dynamic versions of these problems. The formalism behind these control problems have attracted attention as they lead to a variety of new applications in spacecraft guidance, control of robot or biological swarms, sensing, active cooling, network routing as well as in computer and data science. This multifacet and versatile framework, intertwining SBP and OMT, provides the substrate for a historical and technical overview of the field taken up in this paper.

연구 동기 및 목표

• 확률적 제어 형식을 사용하여 슈뢰딩거 브리지 문제와 최적 질량 운반(OPT, optimal mass transport, OMT)의 이론적 기초를 통합한다.
• 에르빈 슈뢰딩거의 1930년대 연구, 로버트 포르테의 1940년대 연속적 반복 방법, 리처드 싱크혼의 1960년대 이산 알고리즘 간의 역사적 및 기술적 연관성을 명확히 한다.
• 슈뢰딩거 브리지 문제의 영온도 근처 극한이 벤아무-브레니에의 OMT 동적 공식화를 복원함을 보여준다.
• 반복적 IPF-싱크혼 알고리즘이 힐버트의 사영 거리에서 수축을 통해 수렴함을 보이며, 포르테의 연속적 수렴 증명을 이산 케이스로 확장한다.
• 확률적 제어를 다리 문제의 일반화 및 로봇공학, 네트워크 라우팅, 우주선 유도 등에의 적용을 가능하게 하는 자연스러운 프레임워크로 위치지운다.

제안 방법

• 경계 조건을 갖는 헬름홀츠 자유 에너지 최소화 문제로 슈뢰딩거 브리지 문제를 확률적 제어 문제로 공식화한다.
• 조건부 기대값과 마틴갈 측도를 포함하는 변분 문제의 해로서 슈뢰딩거 시스템을 유도한다.
• 에너지 최소화 원리에 엔트로피 정규화를 적용하며, 온도 매개변수로 내부 에너지와 엔트로피 간의 트레이드오프를 제어한다.
• 힐버트의 사영 거리를 사용하여 이산 케이스에서 IPF-싱크혼 알고리즘의 수렴성을 증명하며, 포르테의 연속적 수렴 결과를 일반화한다.
• 제곱비용을 가진 OMT 문제를 슈뢰딩거 브리지 문제의 영온도 근처 극한으로 재해석한다.
• 경로 공간에서 제약 조건이 있는 지브스 변분 원리를 통해 정규화된 OMT 문제와 이산 슈뢰딩거 브리지 문제 간의 동치성을 확립한다.

실험 결과

연구 질문

• RQ1 슈뢰딩거 브리지 문제의 영온도 근처 극한에서 제곱비용을 가진 최적 질량 운반 문제와의 관계는 무엇인가?
• RQ2 싱크혼 알고리즘과 연속 공간에서 슈뢰딩거 브리지 문제를 해결하기 위한 포르테의 반복 방법 간의 연결 고리는 무엇인가?
• RQ3 왜 동적 프로그래밍은 슈뢰딩거 브리지 문제에 적용될 수 없으며, 어떤 대체 프레임워크가 그 해결을 가능하게 하는가?
• RQ4 확률적 제어 공식화는 네트워크 라우팅 및 군집 제어 등에 있어 일반화 및 응용을 어떻게 가능하게 하는가?
• RQ5 자유 에너지 함수는 통계역학, 정보이론, 최적 운반을 통합하는 데 어떤 역할을 하는가?

주요 결과

• 균일한 사전확률을 가진 슈뢰딩거 브리지 문제와 제곱비용을 가진 몽체-칸토로비치 최적 운반 문제의 정규화된 형태는 동치이다.
• 슈뢰딩거 브리지 문제의 영온도 근처 극한은 맥캔의 이동 거리 보간 흐름을 특징짓는 벤아무-브레니에의 동적 공식화를 복원한다.
• IPF-싱크혼 알고리즘이 힐버트의 사영 거리에서 수렴하며, 포르테의 1940년 연속적 수렴 증명을 이산 설정으로 확장한다.
• 슈뢰딩거 시스템의 반복적 해는 경계 조건 하에서 헬름홀츠 자유 에너지 최소화와 대응하며, 통계역학과 정보이론을 연결한다.
• 확률적 제어 프레임워크는 브리지 문제의 자연스러운 일반화를 제공하며, 강건한 네트워크 라우팅 및 능동 냉각 등에의 적용을 가능하게 한다.
• 이 형식은 슈뢰딩거 브리지 문제에서 가장 가능성이 높은 경로가 시간 반전에 대해 불변임을 드러내며, 이는 OMT 문제에서는 공유되지 않는 성질이다.