[論文レビュー] Sinkhorn Barycenter via Functional Gradient Descent

Zebang Shen, Zhenfu Wang+2 more|arXiv (Cornell University)|Jul 20, 2020

Topological and Geometric Data Analysis参考文献 22被引用数 4

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）内での写像に関する非制約最適化としてSinkhorn重心問題を再定式化する関数的勾配降下法であるSinkhorn Descent（SD）を導入する。SDは、$\mathcal{O}(1/t)$ のレートで定常点へサブリニア収束を達成し、経験的測度の弱収束を保持し、次元数に線形にスケーリングされるため、100次元の重心問題の解法が可能になる—これは従来の手法では不可能であった。

ABSTRACT

In this paper, we consider the problem of computing the barycenter of a set of probability distributions under the Sinkhorn divergence. This problem has recently found applications across various domains, including graphics, learning, and vision, as it provides a meaningful mechanism to aggregate knowledge. Unlike previous approaches which directly operate in the space of probability measures, we recast the Sinkhorn barycenter problem as an instance of unconstrained functional optimization and develop a novel functional gradient descent method named Sinkhorn Descent (SD). We prove that SD converges to a stationary point at a sublinear rate, and under reasonable assumptions, we further show that it asymptotically finds a global minimizer of the Sinkhorn barycenter problem. Moreover, by providing a mean-field analysis, we show that SD preserves the weak convergence of empirical measures. Importantly, the computational complexity of SD scales linearly in the dimension $d$ and we demonstrate its scalability by solving a $100$-dimensional Sinkhorn barycenter problem.

研究の動機と目的

• 従来の手法が支持の指数的増加を示すため、高次元におけるSinkhorn重心問題の計算的非実行性に対処すること。
• 固定サポートの仮定に起因するバイアスを排除し、自由なサポート最適化を可能にすることで、重心計算におけるバイアスを解消すること。
• 高次元空間におけるSinkhorn重心の計算に対して、保証された収束性とスケーラビリティを有する手法を開発すること。
• データサンプリングに対してロバストであるよう、アルゴリズムの反復において経験的測度の弱収束を保証すること。

提案手法

• 再帰的核ヒルバート空間（RKHS）における写像の関数的最適化として、Sinkhorn重心問題を非制約最適化に再定式化する。
• 反復の非漸近的収束を測定するため、カーネル化されたSinkhorn重心不一致（KSBD）を定義する。
• Sinkhorn発散を最小化する写像を繰り返し更新するための関数的勾配降下法を用い、降下を保証するステップサイズを選択する。
• カーネル法を用いて輸送写像を表現・最適化し、明示的なサポート制約なしに滑らかで微分可能な更新を可能にする。
• 反復の過程で経験的測度の弱収束が保持されることを証明し、連続的初期化と一貫性を確保する。
• 平均場解析を活用して、弱い仮定のもとで収束保証を確立し、最適解へのグローバル収束を示す。

実験結果

リサーチクエスチョン

• RQ1 Sinkhorn重心問題は、サポート制約を回避する写像に関する非制約関数的最適化問題として再定式化可能か？
• RQ2 写像空間における関数的勾配降下法は、$\mathcal{O}(1/t)$ のレートで定常点へサブリニア収束を達成するか？
• RQ3 有限サンプル初期化下でも、アルゴリズムは経験的測度の弱収束を保持するか？
• RQ4 関数的勾配降下法が、どのような条件下で真のSinkhorn重心へグローバルに収束するか？
• RQ5 本手法の計算複雑度は次元 $d$ に対して線形にスケーリングされ、高次元問題へのスケーラビリティを実現するか？

主な発見

• Sinkhorn Descent（SD）は、反復回数 $t$ を用いて $\mathcal{O}(1/t)$ のサブリニアレートで定常点へ収束する。
• 弱い仮定のもとで、SDは漸近的にSinkhorn重心問題のグローバル最小化子を特定する。
• アルゴリズムは経験的測度の弱収束を保持する：$\lim_{N\to\infty} \texttt{SD}^t(\alpha_N) = \texttt{SD}^t(\alpha)$ であり、データサンプリングと一貫性を保証する。
• SDの計算複雑度は次元 $d$ に対して線形にスケーリングされ、100次元の重心問題の解法が可能になる。
• カーネル化されたSinkhorn重心不一致（KSBD）は $\mathcal{O}(1/t)$ のレートで消えるため、非漸近的収束指標として有効である。
• SDはスケーラビリティにおいて従来手法を上回り、固定サポートまたは交互最適化アプローチに内在する次元数に指数的依存する問題を回避する。