[論文レビュー] A Simulated Annealing based Inexact Oracle for Wasserstein Loss Minimization

Jianbo Ye, James Z. Wang+1 more|arXiv (Cornell University)|Aug 12, 2016

Adversarial Robustness in Machine Learning参考文献 20被引用数 3

ひとこと要約

本稿では、Wasserstein損失勾配の近似を効率的に行うためにGibbsサンプリングを用いた、シミュレーテッド・アニーリングに基づく不正確オラクルであるGibbs-OTを提案する。数値的安定性、ウォームスターター、および1イテレーションあたりの計算量の低さを実現することで、Gibbs-OTはWasserstein非負値行列分解およびクーロン係数を伴う最適輸送問題において、エントロピー正則化手法を凌駕する速度と成分の鋭さを達成しながらも、頑健性を維持する。

ABSTRACT

Learning under a Wasserstein loss, a.k.a. Wasserstein loss minimization (WLM), is an emerging research topic for gaining insights from a large set of structured objects. Despite being conceptually simple, WLM problems are computationally challenging because they involve minimizing over functions of quantities (i.e. Wasserstein distances) that themselves require numerical algorithms to compute. In this paper, we introduce a stochastic approach based on simulated annealing for solving WLMs. Particularly, we have developed a Gibbs sampler to approximate effectively and efficiently the partial gradients of a sequence of Wasserstein losses. Our new approach has the advantages of numerical stability and readiness for warm starts. These characteristics are valuable for WLM problems that often require multiple levels of iterations in which the oracle for computing the value and gradient of a loss function is embedded. We applied the method to optimal transport with Coulomb cost and the Wasserstein non-negative matrix factorization problem, and made comparisons with the existing method of entropy regularization.

研究の動機と目的

• Wasserstein損失最小化（WLM）における計算ボトル neck を解決する。ここで、正確な最適輸送（OT）ソルバーは O(m³ log m) の計算量であり、実行不可能である。
• ウォームスターターと早期終了をサポートする、高速で数値的に安定した不正確オラクルを構築する。これは、マルチレベル反復的WLM問題に適している。
• 繰り返しOTソルバーが必要となるWLMタスク（例：Wasserstein NMFやクーロン係数を伴う最適輸送）における効率的最適化を可能にする。
• 滑らかさを引き起こすエントロピー正則化の代替手段を提供し、因子分解における成分の鋭さを向上させる。

提案手法

• Wasserstein損失の部分勾配を近似するために、時間非一様なGibbsサンプラーを確率的オラクルとして用いる。
• 段階的温度低下を用いたシミュレーテッド・アニーリングを適用し、低エネルギー状態（最適輸送計画に類似）への収束を可能にする。
• OTの双対定式化を活用して、メトロポリス・ハスティングスの提案分布をGibbs更新に簡略化し、効率性を向上させる。
• オンラインミラー降下（OMD）および加速ミラー降下（AMD）にGibbs-OTオラクルを統合し、基底ベクトルと所属重みの共同最適化を実現する。
• 温度アニーリングを採用：T := T(1 − √(1/(m + m̄)))。これにより、輸送計画の段階的精錬が可能になる。
• 直前のMCMCサンプルを初期状態として再利用することで、ウォームスターターを実現し、連続するOT問題間での混合時間の短縮を図る。

実験結果

リサーチクエスチョン

• RQ1 GibbsサンプリングのようなMCMCアプローチは、Wasserstein損失最小化における数値的に安定で効率的な不正確オラクルを提供できるか？
• RQ2 Gibbs-OT法は、効果的なウォームスターターと早期終了により、WLM問題における収束速度を向上させられるか？
• RQ3 Wasserstein NMFにおいて、Gibbs-OTはエントロピー正則化法と比較して、解の品質と計算効率の両面で優れているか？
• RQ4 Gibbs-OTは、滑らかさを引き起こすエントロピー正則化手法と比較して、因子分解タスクでより鋭い成分を保持できるか？

主な発見

• MNIST「5」画像では平均エポック時間が0.84秒、ORL顔画像では16.8秒を記録し、商業用LPソルバーと比較して2桁の速度向上を達成した。
• Gibbs-OTで学習された成分は、エントロピー正則化W-NMFの結果よりも鋭く、構造的詳細の保持が優れていることが示された。
• 顔画像の成分にソルトアンドペッパー雑音が観察されたが、これはWasserstein距離がサブピクセル単位の質量移動に対して感受性が低いため、一貫している。
• 特に反復的WLM設定において、従来のOTソルバーと比較して、数値的安定性と頑健性が向上した。
• Gibbs-OTは効果的なウォームスターターを実現し、直前のMCMC状態を再利用することで、マルチエポック最適化における1イテレーションあたりの時間を顕著に短縮した。