[論文レビュー] Debiaser Beware: Pitfalls of Centering Regularized Transport Maps

Aram-Alexandre Pooladian, Marco Cuturi+1 more|arXiv (Cornell University)|Feb 17, 2022

Groundwater flow and contamination studies被引用数 6

ひとこと要約

この論文は、正則化付き最適輸送マップのデバイアス処理における統計的トレードオフを調査し、正則化が小さい極限においてはデバイアス処理（Sinkhornマップを用いて）が性能を向上させることを示している一方で、正則化が強い場合や標本サイズが小さい場合には推定精度が低下することがあることを明らかにしている。これは、エントロピー最適輸送におけるデバイアス処理が普遍的に有益であるという一般的な仮定に疑問を呈するものである。

ABSTRACT

Estimating optimal transport (OT) maps (a.k.a. Monge maps) between two measures $P$ and $Q$ is a problem fraught with computational and statistical challenges. A promising approach lies in using the dual potential functions obtained when solving an entropy-regularized OT problem between samples $P_n$ and $Q_n$, which can be used to recover an approximately optimal map. The negentropy penalization in that scheme introduces, however, an estimation bias that grows with the regularization strength. A well-known remedy to debias such estimates, which has gained wide popularity among practitioners of regularized OT, is to center them, by subtracting auxiliary problems involving $P_n$ and itself, as well as $Q_n$ and itself. We do prove that, under favorable conditions on $P$ and $Q$, debiasing can yield better approximations to the Monge map. However, and perhaps surprisingly, we present a few cases in which debiasing is provably detrimental in a statistical sense, notably when the regularization strength is large or the number of samples is small. These claims are validated experimentally on synthetic and real datasets, and should reopen the debate on whether debiasing is needed when using entropic optimal transport.

研究の動機と目的

• 正則化付き最適輸送マップのデバイアス処理が常に推定精度を向上させるという一般的な仮定に反論すること。
• 変化する正則化強度と標本サイズの下でのエントロピー・マップおよびそのデバイアス処理を施したバージョン（Sinkhornマップ）の統計的性質を分析すること。
• 特に有限標本および高正則化の状況において、デバイアス処理が性能を明示的に劣化させる条件を同定すること。
• 正則化付き最適輸送におけるデバイアス処理を普遍的に行うべきではないという理論的・実験的証拠を提供すること。

提案手法

• 各測定分布と自身との間の補助的最適輸送問題を差し引くことで、デバイアス処理マップ推定器を定義する。
• 母集団レベルの分析を用いて、正則化パラメータ $\varepsilon \to 0$ の極限におけるエントロピー・マップおよびそのデバイアス処理版の収束速度を分析する。
• ガウス分布からガウス分布への輸送マップの場合の閉形式表現を導出し、エントロピー・マップとデバイアス処理マップを解析的に比較する。
• 正則化パラメータ $\varepsilon$ が大きく、または標本数 $n$ が小さい場合に、デバイアス処理マップがエントロピー・マップよりも性能が劣ることを示す理論的バウンディングを確立する。
• 合成データおよび実世界のデータセット（単細胞ゲノム解析データを含む）を用いた数値実験を行い、予測されたターゲット分布と真のターゲット分布との間の $W_2$ 距離を比較する。
• モデル評価のためのテスト分割において、POTライブラリを用いて未正則化の $W_2$ 距離を計算し、有限標本効果を検証する。

実験結果

リサーチクエスチョン

• RQ1 デバイアス処理が正則化付き最適輸送マップの統計的性能を向上または劣化させる条件は何か？
• RQ2 正則化パラメータ $\varepsilon$ は、エントロピー・マップとデバイアス処理済み Sinkhorn マップの相対的性能にどのように影響するか？
• RQ3 高次元または低標本サイズの状況における、デバイアス処理の有限標本効果は何か？
• RQ4 ガウス分布からガウス分布へのケースにおいて、デバイアス処理マップはすべての $\varepsilon$ 値でエントロピー・マップを常に上回るか？
• RQ5 標本サイズの制限がある場合、正則化パラメータ $\varepsilon$ が小さくても、デバイアス処理が推定精度を悪化させる可能性はあるか？

主な発見

• 正則化パラメータ $\varepsilon$ が大きく、または標本数 $n$ が小さい場合には、一般的な信念とは反して、デバイアス処理が統計的性能を劣化させることがある。
• ガウス分布からガウス分布へのケースでは、$\varepsilon \to 0$ の極限において、デバイアス処理マップがモンジュマップへのより良い近似を提供する。
• 有限標本、特に高次元（$d=15$）の状況では、デバイアス処理マップがエントロピー・マップよりも顕著な有限標本効果を示し、性能が劣化することがある。
• 単細胞ゲノム解析データに対する実験結果から、$\varepsilon$ が小さくなるにつれて、エントロピー・マップがターゲット分布との $W_2$ 距離においてデバイアス処理マップを上回ることが示された。
• ターゲット分布に低分散成分が存在する場合には、エントロピー・マップとデバイアス処理マップの性能差が拡大しており、これはデバイアス処理がこのような状況でバイアスを増幅させることを示唆している。
• デバイアス処理は普遍的に行うべきではない。その利点は $\varepsilon$ と $n$ に依存しており、正則化強度の不適切な選択や小標本サイズに対しては頑健ではない。