[論文レビュー] A Consistent Extension of Discrete Optimal Transport Maps for Machine Learning Applications

Lucas de Lara, Alberto González-Sanz+1 more|arXiv (Cornell University)|Feb 17, 2021

Markov Chains and Monte Carlo Methods参考文献 25被引用数 4

ひとこと要約

本稿では、経験的サンプルから連続的近似を学習することで、離散的最適輸送マップを新たな未観測データに拡張する統計的に一貫した手法を提案する。この手法は、真の連続的最適輸送マップへの漸近的収束を保証し、公平性に配慮した機械学習における一貫性のある反事後的説明を理論的保証とともに可能にする。

ABSTRACT

Optimal transport maps define a one-to-one correspondence between probability distributions, and as such have grown popular for machine learning applications. However, these maps are generally defined on empirical observations and cannot be generalized to new samples while preserving asymptotic properties. We extend a novel method to learn a consistent estimator of a continuous optimal transport map from two empirical distributions. The consequences of this work are two-fold: first, it enables to extend the transport plan to new observations without computing again the discrete optimal transport map; second, it provides statistical guarantees to machine learning applications of optimal transport. We illustrate the strength of this approach by deriving a consistent framework for transport-based counterfactual explanations in fairness.

研究の動機と目的

• 離散的最適輸送マップが訓練サンプル上でのみ定義され、新しいデータに一般化できないという限界を解決すること。
• 経験的分布から連続的最適輸送マップの統計的に一貫した推定器を構築すること。
• 一般化を必要とする機械学習応用、例えば反事後的説明において最適輸送を活用できること。
• OTに基づく公平性監査とモデルの解釈可能性に対する理論的保証を提供すること。

提案手法

• 本手法は、del Barrioら（2020a）の補間フレームワークを拡張し、離散的最適輸送マップの連続的近似を構築する。
• 弱い正則性条件の下で、真のBrenierマップにほとんど確実に収束するT-適切推定量を導入する。
• 最適輸送マップの循環単調性と凸解析を活用し、一貫性を保証する。
• 輸送マップを凸関数の劣微分として表現し、優越収束定理を用いて収束を保証する。
• 分類器の分離可能性と不連続集合の無視可能な大きさに関する仮定を組み込み、フラップ確率のほとんど確実収束を保証する。
• 連続写像定理と優越収束定理を用いて、フラップ集合や符号ベクトルといった主要な公平性指標の一致性を証明する。

実験結果

リサーチクエスチョン

• RQ1 離散的最適輸送マップは、真の連続的マップへの漸近的収束を保ちながら、新たな未観測データポイントに一貫して拡張可能か？
• RQ2 提案手法による連続的近似は、標本サイズの増大に伴い統計的に一貫性を保つか？
• RQ3 この一貫性のあるフレームワークを用いて、バイナリ分類器における公平性監査のための信頼性のある反事後的説明を導出可能か？
• RQ4 OTに基づく説明の文脈において、フラップ集合確率と符号ベクトルのほとんど確実収束を保証する条件は何か？
• RQ5 経験的推定を用いる場合に、OTに基づく公平性指標の理論的保証をどのように確立できるか？

主な発見

• 標本サイズの増大に伴い、推定された輸送マップが真の連続的Brenierマップにほとんど確実に収束する。
• 負のフラップ集合および正のフラップ集合を含むフラップ集合確率は、連続的マップの下でほとんど確実に真の値に収束する。
• 平均符号ベクトルおよび基準に基づく差分指標も、不連続集合が元分布の下で測度ゼロであれば、ほとんど確実に収束する。
• Δ⁻_diff、Δ⁺_diff、Δ_ref_diff、Δ⁻_sign、Δ_ref_signといった公平性指標について、統計的一致性が保証される。
• 実用的な仮定（分類器の分離可能性と無視可能な不連続集合）が満たされており、これは大多数の現実世界の機械学習応用で成立する。
• 本手法により、各新しいサンプルに対して輸送マップを再計算することなく、一貫性があり一般化可能な反事後的説明が可能になる。