[論文レビュー] Unbalanced Optimal Transport through Non-negative Penalized Linear Regression

Laëtitia Chapel, Rémi Flamary+3 more|arXiv (Cornell University)|Jun 8, 2021

Multi-Criteria Decision Making被引用数 9

ひとこと要約

この論文は、非平衡最適輸送（UOT）を非負の正則化付き線形回帰問題に再定式化し、主要化最小化（MM）および正則化パス計算を用いた新たなアルゴリズムを可能にする。KLおよびℓ₂正則化付きUOTの乗法的更新を導入し、ℓ₂-UOTにおける最初の正則化パスアルゴリズムを提示。GPU対応で収束保証付きの効率的かつスパースな解が得られる。

ABSTRACT

This paper addresses the problem of Unbalanced Optimal Transport (UOT) in which the marginal conditions are relaxed (using weighted penalties in lieu of equality) and no additional regularization is enforced on the OT plan. In this context, we show that the corresponding optimization problem can be reformulated as a non-negative penalized linear regression problem. This reformulation allows us to propose novel algorithms inspired from inverse problems and nonnegative matrix factorization. In particular, we consider majorization-minimization which leads in our setting to efficient multiplicative updates for a variety of penalties. Furthermore, we derive for the first time an efficient algorithm to compute the regularization path of UOT with quadratic penalties. The proposed algorithm provides a continuity of piece-wise linear OT plans converging to the solution of balanced OT (corresponding to infinite penalty weights). We perform several numerical experiments on simulated and real data illustrating the new algorithms, and provide a detailed discussion about more sophisticated optimization tools that can further be used to solve OT problems thanks to our reformulation.

研究の動機と目的

• 不均衡またはノイズの多い分布が関与する状況において、古典的最適輸送の限界を克服するため、周辺制約を緩和すること。
• エントロピー正則化なしで非効率的でない、スパースなUOTソルバーを構築すること。
• ℓ₂正則化付きUOTの完全な正則化パスの計算を可能にし、ハイパーパrameterチューニングに不可欠な情報を得ること。
• 逆問題や非負行列分解（NMF）分野の既存ツールを活用し、新しいUOTアルゴリズムを設計すること。
• UOTを線形回帰に統一するフレームワークを提供し、新たなアルゴリズム的・理論的展開を可能にすること。

提案手法

• 構造的かつスパースな設計行列を備えた凸的で非負の正則化付き線形回帰問題としてUOTを再定式化する。
• 主要化最小化（MM）を適用し、Bregman損失関数（KLおよびℓ₂正則化を含む）に対する乗法的更新ルールを導出する。
• ℓ₂正則化付きUOTの完全な正則化パスを計算する、LARSに類似した新規アルゴリズムを導出する。
• 設計行列の構造を活用し、効率的なGPU加速更新と低計算量の反復処理を実現する。
• 接線近似を用いて凹関数コスト関数を主要化することで、非線形UOTへの拡張を図る。
• 目的関数の単調減少を保証し、既存のMM理論から得られる収束保証を継承する。

実験結果

リサーチクエスチョン

• RQ1 非平衡最適輸送を非負の正則化付き線形回帰問題に再定式化することで、新たなアルゴリズム的ツールが得られるか？
• RQ2 主要化最小化をどのように変更すれば、KLおよびℓ₂正則化付きUOTに対して効率的で乗法的な更新が得られるか？
• RQ3 ℓ₂正則化付きUOTの完全な正則化パスを計算することは可能か？また、その結果はサポートの進化にどのような洞察をもたらすか？
• RQ4 提案されたアルゴリズムは、既存のエントロピー正則化付きまたはL-BFGS-Bソルバーと比較して、効率性とスパarsityの点で優れているか？
• RQ5 線形回帰への再定式化は、凹関数コスト関数を伴う非線形UOT問題へも拡張可能か？

主な発見

• 提案されたMMベースの乗法的更新は、KLおよびℓ₂正則化付きUOTにおいて、目的関数の単調減少を保証し、低反復計算量で容易に実装可能である。
• アルゴリズムはGPU対応であり、既存のMM理論から得られる収束保証を継承している。
• ℓ₂正則化付きUOTに対して、初めての正則化パスアルゴリズムを提案。すべての正則化重みに対して区分的線形解を計算可能。
• 正則化パスは、サポートの進化が連続的であることを示し、正則化重みが増加するにつれてバランス型OT解に収束することが明らかになった。
• 再定式化により、逆問題やNMF分野の高度なツールが活用可能となり、効率的ソルバーおよび新たなUOT定式化への新たな道筋が示唆された。
• 数値実験により、合成データおよび実世界データの両方において、提案アルゴリズムの効率性とロバスト性が確認された。