[論文レビュー] Regularized Optimal Transport and the Rot Mover's Distance

Arnaud Dessein, Nicolas Papadakis+1 more|arXiv (Cornell University)|Oct 20, 2016

Markov Chains and Monte Carlo Methods参考文献 21被引用数 24

ひとこと要約

本稿では、離散的最適輸送（OT）問題における滑らかで凸な正則化のための統一的フレームワークを提案する。正則化されたOTをBregman発散を用いた行列近似問題に再定式化し、回転移動距離（RMD）と効率的なアルゴリズム（交互スケーリングおよび非負の交互スケーリング）を提案することで、多様な正則化子に対して高速かつスケーラブルな計算を実現した。音声シーン分類における実験的検証では、ベースライン指標を上回る優れた性能を示した。

ABSTRACT

This paper presents a unified framework for smooth convex regularization of discrete optimal transport problems. In this context, the regularized optimal transport turns out to be equivalent to a matrix nearness problem with respect to Bregman divergences. Our framework thus naturally generalizes a previously proposed regularization based on the Boltzmann-Shannon entropy related to the Kullback-Leibler divergence, and solved with the Sinkhorn-Knopp algorithm. We call the regularized optimal transport distance the rot mover's distance in reference to the classical earth mover's distance. We develop two generic schemes that we respectively call the alternate scaling algorithm and the non-negative alternate scaling algorithm, to compute efficiently the regularized optimal plans depending on whether the domain of the regularizer lies within the non-negative orthant or not. These schemes are based on Dykstra's algorithm with alternate Bregman projections, and further exploit the Newton-Raphson method when applied to separable divergences. We enhance the separable case with a sparse extension to deal with high data dimensions. We also instantiate our proposed framework and discuss the inherent specificities for well-known regularizers and statistical divergences in the machine learning and information geometry communities. Finally, we demonstrate the merits of our methods with experiments using synthetic data to illustrate the effect of different regularizers and penalties on the solutions, as well as real-world data for a pattern recognition application to audio scene classification.

研究の動機と目的

• 滑らかで凸な正則化を用いて、既存の正則化された最適輸送手法を統一的かつ一般化すること。
• さまざまな発散に対して正則化された最適輸送計画を計算するための効率的アルゴリズムの開発。
• 特に高次元設定において、合成データおよび実世界データに対する提案フレームワークの有効性の実証。
• アプリケーション固有の基準に基づいて正則化子の選択とチューニングが可能な柔軟で原理的根拠のあるフレームワークの提供。
• 標準的なエントロピー正則化を超えた理論的・アルゴリズム的ツールの拡張、非負および可分正則化子に対しても対応。

提案手法

• Bregman発散に関する行列近似問題として正則化された最適輸送を定式化し、Kullback-Leibler発散やその他の発散を一般化する。
• 非負の象限に定義域を持つ正則化子に対しては、交互スケーリングアルゴリズムを、より広範なクラスの正則化子に対しては非負の交互スケーリングアルゴリズムを提案する。
• 可分正則化子のスパース拡張を導入し、高次元データの効率的処理を可能にする。
• Bregman射影を繰り返し用いて双対変数を更新することで、正則化された最適計画への収束を保証する。
• ボルツマン＝シャノンエントロピー、ロジスティック損失、ヘリンジャー発散といった代表的な正則化子にフレームワークを適用する。
• アフィン変換によるパラメトリックアプローチを用いて正則化子間の補間を可能とし、柔軟なチューニングを実現する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで凸な正則化を用いた離散的最適輸送問題のための統一的フレームワークをどのように構築できるか？
• RQ2 異なるBregman発散を正則化子として用いる場合、最適輸送におけるアルゴリズム的影響は何か？
• RQ3 パターン認識タスクにおいて、回転移動距離（RMD）は、EMD、ユークリッド距離、KL発散といった古典的指標と比較してどのように性能を発揮するか？
• RQ4 スパarsityおよび可分性を活用することで、提案されたアルゴリズムは高次元データを効率的に処理できるか？
• RQ5 実応用における輸送計画の構造的およびロバスト性に、異なる正則化子が与える影響は何か？

主な発見

• 音声シーン分類において、回転移動距離（RMD）はユークリッド距離、Kullback-Leibler、ヘリンジャーに基づくシステムを上回り、DCASE 2016チャレンジで最高の精度を達成した。
• 高次元データ（例：次元256）では、正則化子の選択が性能に顕著な影響を及ぼし、低正則化条件下ではBSKLとLOGが同等の性能を示した。
• 低次元設定（例：次元≤16）では、ヘリンジャー正則化子（HELL）が最も優れた性能を示し、データ次元および分布範囲に応じた正則化子選択の重要性を示した。
• 交互スケーリングおよび非負の交互スケーリングアルゴリズムは、収束が効率的であり、高次元問題に対しても2次時間計算量で正則化計画を計算可能である。
• 可分正則化子フレームワークのスパース拡張により、精度を損なわず高次元特徴空間におけるスケーラブルな計算が可能になった。
• フレームワークはエントロピー正則化を超えて一般化され、ロジスティック、ヘリンジャー、α発散といった多様な発散を統一的なアルゴリズムパイプラインで活用可能となった。