[論文レビュー] Unbalanced Sobolev Descent.

Youssef Mroueh, Mattia Rigotti|arXiv (Cornell University)|Jan 1, 2020

Statistical Methods and Inference被引用数 1

ひとこと要約

Unbalanced Sobolev Descent (USD) は、質量保存を必要とせず、再生核ヒルバート空間 (RKHS) 内のソボレフ＝ファイシャー便宜関数の勾配フローを用いて、ソース分布をターゲット分布に輸送する粒子ベースのアルゴリズムである。広義には、粒子の移動（輸送）と質量再重み付け（出生・死滅過程による）を組み合わせ、最大平均差分 (MMD) の意味でターゲット分布への漸近的収束を達成し、単一細胞RNA-Seq解析においてより速い輸送と向上した性能を示している。

ABSTRACT

We introduce Unbalanced Sobolev Descent (USD), a particle descent algorithm for transporting a high dimensional source distribution to a target distribution that does not necessarily have the same mass. We define the Sobolev-Fisher discrepancy between distributions and show that it relates to advection-reaction transport equations and the Wasserstein-Fisher-Rao metric between distributions. USD transports particles along gradient flows of the witness function of the Sobolev-Fisher discrepancy (advection step) and reweighs the mass of particles with respect to this witness function (reaction step). The reaction step can be thought of as a birth-death process of the particles with rate of growth proportional to the witness function. When the Sobolev-Fisher witness function is estimated in a Reproducing Kernel Hilbert Space (RKHS), under mild assumptions we show that USD converges asymptotically (in the limit of infinite particles) to the target distribution in the Maximum Mean Discrepancy (MMD) sense. We then give two methods to estimate the Sobolev-Fisher witness with neural networks, resulting in two Neural USD algorithms. The first one implements the reaction step with mirror descent on the weights, while the second implements it through a birth-death process of particles. We show on synthetic examples that USD transports distributions with or without conservation of mass faster than previous particle descent algorithms, and finally demonstrate its use for molecular biology analyses where our method is naturally suited to match developmental stages of populations of differentiating cells based on their single-cell RNA sequencing profile. Code is available at this https URL .

研究の動機と目的

• 質量保存を要件としない粒子降下アルゴリズムの開発。
• アドベクション・リアクションダイナミクスとウォッサーシュタイン＝ファイシャー＝ラオ度合いに接続する新しい乖離尺度、すなわちソボレフ＝ファイシャー乖離を定義すること。
• 便宜関数がRKHSで推定される場合、やや弱い仮定のもとでMMDの意味でターゲット分布への収束を可能にすること。
• スケーラブルで柔軟な分布マッチングを実現するためのニューラルネットワークベースのUSD実装の設計。
• 合成データおよび現実の単一細胞RNA配列データを用いた開発段階解析において、本手法の有効性の実証。

提案手法

• USDは2段階のプロセスを用いる：ソボレフ＝ファイシャー便宜関数の勾配フローによるアドベクションと、便宜関数に比例する質量再重み付けによるリアクション。
• リアクションステップは、便宜関数に比例する成長率を持つ出生・死滅過程としてモデル化され、質量の再配分が可能になる。
• ソボレフ＝ファイシャー乖離は、便宜関数におけるヒルバート空間ノルムを用いて定義され、ウォッサーシュタイン＝ファイシャー＝ラオ度合いに接続される。
• 便宜関数がRKHSで推定される場合、やや弱い仮定のもとで、USDはMMDの意味でターゲット分布への漸近的収束を達成する。
• 2つのニューラルネットワークベースの変種が提案される：1つは粒子重みにおけるミラー降下を用い、もう1つは再重み付けに確率的出生・死滅過程を用いる。
• 本手法は、便宜関数の勾配フローから導かれるアドベクション・リアクションPDEに従う粒子ダイナミクスを活用する。

実験結果

リサーチクエスチョン

• RQ1 ソース分布とターゲット分布の間で質量が保存されない場合に、粒子降下アルゴリズムが分布輸送を効果的に行えるか。
• RQ2 アドベクションとリアクションダイナミクスの両方をサポートするように、ソボレフ＝ファイシャー乖離をどのように定義できるか。
• RQ3 便宜関数がRKHSで推定される場合、USDはMMDの意味でターゲット分布に収束するか。
• RQ4 ニューラルネットワークがソボレフ＝ファイシャー便宜関数を効果的に推定することで、スケーラブルで微分可能な分布マッチングが可能になるか。
• RQ5 合成データおよび現実の生物学的データにおいて、既存の粒子降下手法と比較して、USDの収束速度と精度はどのように異なるか。

主な発見

• やや弱い仮定のもとで、ソボレフ＝ファイシャー便宜関数が再生核ヒルバート空間 (RKHS) で推定される場合、USDは最大平均差分 (MMD) の意味でターゲット分布への漸近的収束を達成する。
• 合成例では、特に非平衡設定において、先行する粒子降下手法と比較して、より速い分布輸送を実現している。
• USDは単一細胞RNA配列データにおける発生的移行を効果的にモデル化し、異なる段階間の分化細胞集団の正確なマッチングを可能にしている。
• ミラー降下と確率的出生・死滅過程を用いたニューラルネットワークベースのUSD変種は、効果的かつスケーラブルな分布マッチングを達成している。
• USDのリアクションステップは、出生・死滅過程としてモデル化されており、動的質量再重み付けを可能にし、輸送効率と分布忠実度を向上させている。
• 実験的結果から、質量が不均衡な分布をマッチングする際、USDは既存の手法を上回る収束速度と精度を示している。