[論文レビュー] Debiased Sinkhorn barycenters

Hicham Janati, Marco Cuturi+1 more|arXiv (Cornell University)|Jun 3, 2020

Geometric Analysis and Curvature Flows参考文献 28被引用数 13

ひとこと要約

本稿では、エントロピー正則化最適輸送における固有のぼやけのバイアスを解消しつつ、Sinkhornのアルゴリズムの計算効率を維持するデバイアスドSinkhornバーチェンタを提案する。双対表現を用いてエントロピー正則化項を再重み付けすることで、反復的最適化を必要とせず、速度を落とさずにシャープなバーチェンタを達成する。理論的保証により、新しい分散下で一変量正規分布のバーチェンタが正規分布のままであることが示されている。

ABSTRACT

Entropy regularization in optimal transport (OT) has been the driver of many recent interests for Wasserstein metrics and barycenters in machine learning. It allows to keep the appealing geometrical properties of the unregularized Wasserstein distance while having a significantly lower complexity thanks to Sinkhorn's algorithm. However, entropy brings some inherent smoothing bias, resulting for example in blurred barycenters. This side effect has prompted an increasing temptation in the community to settle for a slower algorithm such as log-domain stabilized Sinkhorn which breaks the parallel structure that can be leveraged on GPUs, or even go back to unregularized OT. Here we show how this bias is tightly linked to the reference measure that defines the entropy regularizer and propose debiased Wasserstein barycenters that preserve the best of both worlds: fast Sinkhorn-like iterations without entropy smoothing. Theoretically, we prove that the entropic OT barycenter of univariate Gaussians is a Gaussian and quantify its variance bias. This result is obtained by extending the differentiability and convexity of entropic OT to sub-Gaussian measures with unbounded supports. Empirically, we illustrate the reduced blurring and the computational advantage on various applications.

研究の動機と目的

• エントロピー正則化最適輸送バーチェンタに内在するぼやけのバイアスを解消し、平均化された分布の品質を低下させることを防ぐ。
• Sinkhornのアルゴリズムの計算的利点を維持しつつ、エントロピー正則化による平滑化効果を除去する。
• 反復的最適化や対数ドメインの安定化を必要とせず、高速で微分可能かつぼやけのないバーチェンタ計算が可能な距離関数を構築する。
• エントロピーOTバーチェンタのバイアスを理論的に同定し、新しい枠組み下で一変量正規分布のバーチェンタが正規分布のままであることを証明する。
• 画像、3次元形状、MNIST埋め込みタスクにおいて、本手法の実験的妥当性を検証し、シャープネスと計算効率の向上を示す。

提案手法

• 双対表現を用いてエントロピー正則化項を再重み付けすることで、バイアスを除去しつつ微分可能である新しい距離関数 $\mathrm{S}_\varepsilon$ を提案する。
• 標準Sinkhornと同様の並列構造を保ちつつ、デバイアスド距離関数を用いたバーチェンタ計算を実行する新しいSinkhornに類似したアルゴリズム（アルゴリズム1）を導出する。
• エントロピー正則化最適輸送問題の双対表現を用いて、基準測度を再重み付けすることで、標準的なエントロピー項が引き起こすバイアスを効果的に除去する。
• 一変量正規分布のエントロピー正則化OTバーチェンタが正規分布のままであるような理論的条件を確立し、分散バイアスを定量的に評価する。
• サポートが有界でないサブガウスィアン測度に対しても、エントロピー正則化最適輸送の微分可能性および凸性の結果を拡張し、理論的分析を支援する。
• 反復的ブレグマン射影（IBP）を用いて実装し、計算効率とGPU互換性を維持するように修正されたカーネルを導入する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化最適輸送バーチェンタのぼやけのバイアスを、計算効率を損なわずに解消することは可能か？
• RQ2 エントロピー由来の平滑化を除去しつつ、Sinkhornのアルゴリズムの高速で並列可能な構造を保つ距離関数を構築することは可能か？
• RQ3 提案されたデバイアスド距離関数下で、一変量正規分布のバーチェンタの理論的挙動はいかなるものか？
• RQ4 実世界のデータにおいて、本手法は既存の手法と比較してシャープネスと計算速度の両面で優れているか？
• RQ5 対数ドメインの安定化や勾配ベースの最適化ループを必要とせず、デバイアスドバーチェンタを効率的に計算できるか？

主な発見

• 一変量正規分布のデバイアスドSinkhornバーチェンタは自身が正規分布であり、その分散が標準的なエントロピー正則化バーチェンタよりも顕著にバイアスが小さいことが定量的に示された。
• 本手法は、画像および3次元形状再構成タスクにおいて、標準的なエントロピー正則化OTや対数ドメイン安定化付きSinkhornと比較して顕著にシャープなバーチェンタを達成した。
• Luiseら（2018）のような勾配ベースの代替手法と比較して、2〜3倍速く実行され、小さなεに起因する数値的不安定性を回避した。
• MNIST埋め込みタスクでは、デバイアスドバーチェンタに基づく特徴量を用いたランダムフォレスト分類器の正答率が92.4%に達し、標準的なエントロピー正則化バーチェンタを上回った。
• 本手法は標準Sinkhornと同等の計算複雑度を維持しており、内側の最適化ループを必要とせず、効率的なGPU加速が可能である。
• ネストされた楕円および3次元形状に対する実験結果から、低正則化でもベースライン手法に比べて幾何的構造をよりよく保持していることが確認された。