[論文レビュー] Concentration bounds for linear Monge mapping estimation and optimal transport domain adaptation

Rémi Flamary, Karim Lounici+1 more|arXiv (Cornell University)|May 24, 2019

Bone and Joint Diseases参考文献 54被引用数 7

ひとこと要約

この論文は、最適輸送に基づくドメイン適応に応用する線形モンジュ写像推定のための最初の濃縮不等式を確立し、経験的1階および2階モーメントを用いて $n^{-1/2}$ の標本複雑性を証明した。分布が定常である場合、高速フーリエ変換（FFT）を用いた計算の高速化が可能であり、共分散構造にやや厳しい条件が課されるが、ベイズ最適性能に近づくことを示した。

ABSTRACT

This article investigates the quality of the estimator of the linear Monge mapping between distributions. We provide the first concentration result on the linear mapping operator and prove a sample complexity of $n^{-1/2}$ when using empirical estimates of first and second order moments. This result is then used to derive a generalization bound for domain adaptation with optimal transport. As a consequence, this method approaches the performance of theoretical Bayes predictor under mild conditions on the covariance structure of the problem. We also discuss the computational complexity of the linear mapping estimation and show that when the source and target are stationary the mapping is a convolution that can be estimated very efficiently using fast Fourier transforms. Numerical experiments reproduce the behavior of the proven bounds on simulated and real data for mapping estimation and domain adaptation on images.

研究の動機と目的

• 最適輸送における有限標本からの線形モンジュ写像推定に対する理論的保証の欠如に取り組む。
• 一般化誤差境界を導出することにより、最適輸送ドメイン適応の統計的基盤を提供する。
• 定常性を活用して写像推定を畳み込みに還元し、高速フーリエ変換（FFT）による計算効率の向上を図る。
• 構造的仮定の下で次元の呪いを回避するパラメトリック $n^{-1/2}$ 収束レートを達成することを示す。
• シミュレートされたおよび実際の画像データ（MNISTに運動ブラーを加えたものも含む）上で理論的結果を実証的に検証する。

提案手法

• ソースおよびターゲット分布の経験的モーメントから推定された線形モンジュ写像作用素に対する濃縮不等式を導出する。
• 濃縮不等式を用いて、最適輸送ドメイン適応における一般化誤差境界を確立し、写像推定誤差と分類器性能の関連を明示する。
• 経験的平均および共分散行列に基づく線形モンジュ写像推定器を提案し、やや厳しいモーメント条件のもとで一貫性を保証する。
• ソースおよびターゲット分布の定常性を活用して、写像を畳み込みに再定式化し、高速フーリエ変換による効率的な推定を可能にする。
• 畳み込み型モンジュ写像を用いた画像ドメイン適応タスクに実装・評価を行い、畳み込みニューラルネットワーク（CNN）を分類器として用いる。
• ベースライン（ソースのみ、ターゲットのみ、線形および畳み込み型写像を用いたOTDA）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 有限標本からの推定において、線形モンジュ写像推定器の統計的収束レートは何か？
• RQ2 共分散構造にやや厳しい構造的仮定が課された場合、最適輸送ドメイン適応はベイズ予測子に近い性能を達成できるか？
• RQ3 線形モンジュ写像推定の計算複雑性はどのようにスケーリングされ、定常性の下で加速可能か？
• RQ4 畳み込み型モンジュ写像は線形ケースに比べてドメイン適応性能をどの程度向上させるか？
• RQ5 理論的濃縮不等式は、実世界およびシミュレートされたデータにおいて実際の状況でも成り立つか？

主な発見

• この論文は、線形モンジュ写像作用素に対する最初の濃縮不等式を確立し、経験的1階および2階モーメントからの推定において $n^{-1/2}$ の標本複雑性を証明した。
• 線形モンジュ写像を用いた最適輸送ドメイン適応は、共分散構造にやや厳しい条件が課された場合、一般化誤差がベイズリスクに近づくことを示した。
• ソースおよびターゲット分布が定常である場合、線形モンジュ写像は畳み込みに簡略化され、高速フーリエ変換（FFT）による効率的な推定が可能になる。
• 運動ブラーを加えたMNISTにおける数値実験では、畳み込み型モンジュ写像が十分な標本数のもとで、ターゲットデータに直接訓練された分類器と同等の性能に達した。
• 線形モンジュ写像はより多くの標本数（$n \geq 10^3$）を必要とするが、依然としてベイズ最適誤差率に収束する。
• 提案手法は、シミュレートおよび実データの両方でマッピング誤差および分類誤差の曲線を通じて理論的境界と強い実証的整合性を示した。