[논문 리뷰] Sinkhorn Algorithm as a Special Case of Stochastic Mirror Descent

Konstantin Mishchenko|arXiv (Cornell University)|2019. 09. 16.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 Kullback-Leibler 발산을 거울 매핑과 목적 함수로 사용할 때 Sinkhorn 알고리즘은 확률적 미러 하강의 특수한 경우임을 입증한다. 주요 기여는 새로운 이론적 동치성을 제공함으로써, 비스토크래틱인 'Pinkhorn' 변형과 상대적 리스크를 고려한 가속화 변형을 포함한 새로운 최적 운반 방법을 가능하게 하며, 이는 두 개의 마진 제약을 초월한 확장도 가능하게 한다.

ABSTRACT

We present a new perspective on the celebrated Sinkhorn algorithm by showing that is a special case of incremental/stochastic mirror descent. In order to see this, one should simply plug Kullback-Leibler divergence in both mirror map and the objective function. Since the problem has unbounded domain, the objective function is neither smooth nor it has bounded gradients. However, one can still approach the problem using the notion of relative smoothness, obtaining that the stochastic objective is 1-relative smooth. The discovered equivalence allows us to propose 1) new methods for optimal transport, 2) an extension of Sinkhorn algorithm beyond two constraints.

연구 동기 및 목표

• Sinkhorn 알고리즘을 새로운 최적화 프레임워크인 확률적 미러 하강 프레임워크 내에서 재해석함으로써, 이에 대한 이론적 해석을 제공한다.
• 비유계 영역에서 Sinkhorn의 수렴 보장을 부족하게 하는 문제를 상대적 리스크를 활용하여 해결한다.
• 발견된 동치성을 바탕으로 비스토크래틱 및 가속화된 변형을 포함한 새로운 최적 운반 알고리즘을 개발한다.
• 이를 통해 두 마진 제약 조건을 초월한 일반적인 선형 시스템으로 Sinkhorn 알고리즘의 일반화를 실현한다.
• 엔트로피 정규화된 최적 운반 문제에 대해 고급 미러 하강 기법—예를 들어 가속화 및 프록시멀 방법—의 적용을 가능하게 한다.

제안 방법

• 논문은 엔트로피 정규화된 최적 운반 문제를 각 선형 제약 조건에 대응하는 Kullback-Leibler 발산의 합 최소화 문제로 재구성한다.
• 엔트로피 거울 매핑 $\omega(x) = x(\log x - 1)$ 과 스텝 사이즈 $\eta = 1$ 를 사용한 미러 하강 업데이트가 선형 제약 조건 집합 위로의 Bregman 투영과 동치임을 입증한다.
• 거울 하강 업데이트가 $f_i(x) = \mathcal{KL}(\langle a_i, x\rangle \| b_i)$ 인 경우에 Bregman 투영 $\Pi_{C_i}^\omega(x^k)$ 으로 감소함을 보여, 이는 Sinkhorn의 행 및 열 정규화 단계와 정확히 일치함을 증명한다.
• 상대적 리스크 개념을 활용하여 각 $f_i$ 가 $\omega$ 에 대해 1-상대적으로 스무쓰함을 보임을 보이며, 비스무쓰성과 유계가 아닌 기울기 문제에도 불구하고 수렴 분석이 가능함을 보여준다.
• 이 프레임워크는 새로운 방법 설계를 가능하게 하며, 'Pinkhorn'(비스토크래틱 미러 하강)과 상대적으로 스무쓰한 함수에 대한 Nesterov 스타일 가속 기법을 적용한 가속화된 Pinkhorn이 포함된다.
• 이 방법은 비음수 제약 조건이 있는 임의의 선형 시스템 $Ax = b$ 에 적용 가능하게 하여, 두 마진 문제를 초월한 일반화를 실현한다.

실험 결과

연구 질문

• RQ1 Sinkhorn 알고리즘은 Kullback-Leibler 발산을 거울 매핑과 목적 함수로 사용할 때, 확률적 미러 하강과 같은 알려진 최적화 프레임워크의 특수한 경우로 공식적으로 해석될 수 있는가?
• RQ2 엔트로피 정규화된 최적 운반 문제에서의 비스무쓰성과 유계가 아닌 기울기로 인해 수렴 보장이 무효화되는가? 만약 그렇다면, 상대적 리스크가 이를 해결할 수 있는가?
• RQ3 Sinkhorn과 확률적 미러 하강 간의 동치성을 활용하여, 더 효율적인 최적 운반 알고리즘을 설계할 수 있는가?
• RQ4 이 프레임워크를 통해 두 마진 제약 조건을 초월한 문제에 대해 Sinkhorn 알고리즘을 확장할 수 있는가?
• RQ5 이 재구성에 기반해, 고급 미러 하강 기법—예를 들어 가속화 및 프록시멀 방법—을 엔트로피 정규화된 최적 운반 문제에 적용할 수 있는가?

주요 결과

• Sinkhorn 알고리즘이 Kullback-Leibler 발산을 거울 매핑과 목적 함수로 사용할 때, 확률적 미러 하강의 특수한 경우임을 공식적으로 입증하였다.
• 재구성된 문제에서 목적 함수는 엔트로피 거울 매핑에 대해 1-상대적으로 스무쓰함을 보이며, 이는 비스무쓰성과 유계가 아닌 기울기 문제에도 불구하고 수렴 분석이 가능함을 보여준다.
• 스토크래틱성을 제거한 비스토크래틱 미러 하강 업데이트를 기반으로 한 새로운 결정론적 방법인 'Pinkhorn'이 제안되었으며, 이는 Sinkhorn의 결정론적 대안을 제공한다.
• 상대적으로 스무쓰한 최적화에 대한 알려진 가속 기법을 활용하여, '가속화된 Pinkhorn'이 유도되었으며, 이는 수렴 속도 향상을 이룬다.
• 이 프레임워크는 두 마진 제약 조건을 초월한 일반적인 선형 시스템으로 Sinkhorn 알고리즘의 일반화를 가능하게 하여, 다중 마진 최적 운반 문제에의 적용 범위를 넓혔다.
• 동치성 덕분에 최적 운반의 맥락에서 프록시멀 연산자 및 선형 검색 방법과 같은 고급 최적화 도구의 적용이 가능해졌으며, 이는 새로운 연구 방향을 열었다.