[論文レビュー] Statistical Optimal Transport via Factored Couplings

Aden Forrow, Jan-Christian Hütter+4 more|arXiv (Cornell University)|Jun 19, 2018

Machine Learning and Algorithms参考文献 63被引用数 23

ひとこと要約

本稿では、高次元データにおける次元の呪いを克服するために、低ランク結合（「要因付き結合」として呼ばれる）を用いて Wasserstein 距離を正則化する、新しい統計的最適輸送手法を提案する。低輸送ランク構造（行列の非負値ランクに類似）を活用することで、最適輸送計画の推定において優れた安定性と精度を達成し、標準的なプラグイン推定器と比較して、単一細胞 RNA-Seq データにおけるドメイン適応の性能が顕著に向上する。

ABSTRACT

We propose a new method to estimate Wasserstein distances and optimal transport plans between two probability distributions from samples in high dimension. Unlike plug-in rules that simply replace the true distributions by their empirical counterparts, our method promotes couplings with low transport rank, a new structural assumption that is similar to the nonnegative rank of a matrix. Regularizing based on this assumption leads to drastic improvements on high-dimensional data for various tasks, including domain adaptation in single-cell RNA sequencing data. These findings are supported by a theoretical analysis that indicates that the transport rank is key in overcoming the curse of dimensionality inherent to data-driven optimal transport.

研究の動機と目的

• 標本ノイズによる統計的不安定性の原因となる、vanilla 最適輸送の高次元設定における問題を解決する。
• 結合に構造的仮定を導入することで、データ駆動型最適輸送における次元の呪いを克服する。
• 高次元における Wasserstein 距離および輸送計画の計算的に効率的で統計的に安定した推定器を開発する。
• 特に単一細胞 RNA シーケンシングにおけるドメイン適応に関して、実世界の高次元データで優れた性能を示すことを実証する。
• 低輸送ランク正則化が統計的推定誤差を軽減するメカニズムを理論的に裏付ける。

提案手法

• 非負値行列ランクに類似した、低輸送ランクという新しい構造的仮定を結合に導入し、最適輸送を正則化する。
• 有限なサポートを持つ Wasserstein バイアスセンターを用いて、要因付き結合に基づく推定器を構築し、計算を効率化する。
• 低ランク結合における正則化最適化問題として推定問題を定式化し、輸送計画におけるスパarsity と構造を促進する。
• エントロピー正則化と交互最小化を用いて、得られた最適化を効率的に解き、相対許容誤差を用いて収束を制御する。
• 単一細胞 RNA-seq のように、関連する部分空間への投影または前処理を施して高次元データに適用する。
• サブサンプリングされたデータを用いた交差検証により、正則化パラメータ（例：エントロピー、クラスタ数、部分空間次元）をチューニングし、頑健な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 結合における低ランク構造が、高次元データにおける最適輸送の統計的安定性を顕著に向上させることができるか？
• RQ2 提案された要因付き結合手法が、高次元設定において標準的なプラグイン推定器を上回る性能を示すか？
• RQ3 低輸送ランク正則化が、最適輸送推定における次元の呪いをどの程度軽減するか？
• RQ4 本手法は、単一細胞 RNA-seq ドメイン適応のような実世界の高次元応用において、どの程度効果的か？
• RQ5 実験的最適輸送における輸送ランクと推定誤差の理論的関係は何か？

主な発見

• 提案手法は、OT-ER や OT-L1L2 といったベースライン手法と比較して、単一細胞 RNA-seq データにおけるドメイン適応タスクで顕著に優れた性能を達成した。
• 低輸送ランクを持つ要因付き結合は、高次元設定における推定誤差を低減し、標本ノイズに対する頑健性を向上させる。
• 理論的分析により、輸送ランクが実験的最適輸送における次元の呪いを克服する鍵要因であることが確認された。
• 数値実験では、限られたサンプル数でも高い精度を維持でき、高次元における標準的プラグイン推定器を上回る性能を示した。
• 交差検証の結果、本手法はパrameter の選択に対して頑健であり、複数のデータサブサンプルにわたって安定した性能を示した。
• 本手法により、異なるシーケンシングプロトコル間（例：SMART-seq2 と MARS-seq）の効果的なドメイン適応が可能となり、細胞型分類の正確性が向上した。