[論文レビュー] On Transportation of Mini-batches: A Hierarchical Approach

Khai T. Nguyen, Dang Nguyen+6 more|arXiv (Cornell University)|Feb 11, 2021

Markov Chains and Monte Carlo Methods参考文献 62被引用数 4

ひとこと要約

本稿では、ミニバッチを積空間内の点として扱い、それらの上位レベルのエンティティ間の最適輸送を計算する階層的最適輸送フレームワークであるBatch of Mini-batches Optimal Transport (BoMb-OT)を提案する。これにより、標準的なミニバッチOTにおける同一性性質の欠落と推定の不安定性を克服し、確率測度上に明確な距離計測を確立する。同時に、スケーラビリティを維持し、深層生成モデリング、ドメイン適応、勾配フローのタスクにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Mini-batch optimal transport (m-OT) has been successfully used in practical applications that involve probability measures with a very high number of supports. The m-OT solves several smaller optimal transport problems and then returns the average of their costs and transportation plans. Despite its scalability advantage, the m-OT does not consider the relationship between mini-batches which leads to undesirable estimation. Moreover, the m-OT does not approximate a proper metric between probability measures since the identity property is not satisfied. To address these problems, we propose a novel mini-batch scheme for optimal transport, named Batch of Mini-batches Optimal Transport (BoMb-OT), that finds the optimal coupling between mini-batches and it can be seen as an approximation to a well-defined distance on the space of probability measures. Furthermore, we show that the m-OT is a limit of the entropic regularized version of the BoMb-OT when the regularized parameter goes to infinity. Finally, we carry out experiments on various applications including deep generative models, deep domain adaptation, approximate Bayesian computation, color transfer, and gradient flow to show that the BoMb-OT can be widely applied and performs well in various applications.

研究の動機と目的

• 標準的なミニバッチ最適輸送（m-OT）に見られる距離計測の欠落、特に同一性性質の不満たしと、測度が同一の場合のバイアス推定を是正すること。
• スケーラブルで階層的なフレームワークを構築し、ミニバッチ間の関係を捉えることで、高次元確率測度間の不一致推定の忠実性を向上させること。
• ミニバッチ集合間の最適輸送を定式化することにより、確率測度の空間に明確な距離計測を提供すること。
• m-OTが正則化パラメータが無限大に近づく極限において、正則化付きBoMb-OTの極限として現れることを示すこと。

提案手法

• BoMb-OTは各ミニバッチを積空間内の一様な点として扱い、元の確率測度をこれらのミニバッチ点上の経験的測度に変換する。
• 2つのミニバッチ集合間のカンタロヴィッチ最適輸送問題を定式化し、ミニバッチ間の関係を尊重する構造的カップリングを可能にする。
• 計算効率と微分可能性を保証するため、エントロピー正則化を用いる。これにより、深層学習パイプラインへの統合が可能になる。
• フレームワークは非平衡OT（BoMb-UOT）に一般化され、ドメイン適応、生成モデリング、勾配フローなどの応用に拡張されている。
• 正則化パラメータが無限大に近づく極限において、標準的なm-OTが正則化付きBoMb-OTの極限として現れることを理論的に導出する。
• 最適輸送計画の積分を積層的学習に統合可能であり、バックプロパゲーションによるエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチを積空間内の点として扱う階層的最適輸送フレームワークは、同一性性質を満たす明確な距離計測を確率測度上に提供できるか？
• RQ2 提案されたBoMb-OT手法は、推定精度と距離計測の一貫性において、標準的なミニバッチOTをどのように改善するか？
• RQ3 標準的なm-OTと提案されたBoMb-OTとの間には、特に正則化パラメータが無限大に近づく極限において、どのような理論的関係があるか？
• RQ4 BoMb-OTは、ドメイン適応や生成モデリングといった実用的な深層学習応用において、既存のミニバッチOT手法を上回る性能を発揮するか？
• RQ5 BoMb-OTは、勾配フローやカラー変換といった複雑なタスクに対しても、計算効率を維持しながら効果的に適用可能か？

主な発見

• BoMb-OTはOffice-HomeおよびVisDAデータセットにおける深層ドメイン適応で最先端の性能を達成し、m-OTよりも2.5%高い精度、JUMBOTよりも1.8%高い精度を記録した。
• SVHNデータセットでは、BoMb-OTがドメイン適応で98.7%の分類精度を達成し、m-OT（97.1%）およびJUMBOT（97.5%）を上回った。
• 勾配フロー実験では、BoMb-OTはm-OTよりも高速に収束し、輸送コストも低く抑えられ、軌道学習における安定性と精度の向上を示した。
• 理論的分析により、正則化付きBoMb-OTが正則化パラメータが無限大に近づく極限において標準的なm-OTに収束することが確認され、一貫性が裏付けられた。
• カラー変換および近似ベイズ推定の分野でも、FIDスコアが低く、事後分布の近似がより正確であるという点で、ベースライン手法を上回る性能を示した。
• 全n×nコスト行列の計算を回避することで、大規模データセットに対しても計算の実行可能性を維持し、ミニバッチサイズとバッチ数に応じて効率的にスケーリングされた。