[論文レビュー] The Incomplete Rosetta Stone Problem: Identifiability Results for Multi-View Nonlinear ICA

Luigi Gresele, Paul K. Rubenstein+3 more|arXiv (Cornell University)|May 16, 2019

Blind Source Separation Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、複数の十分に多様なノイズ付きビューが利用可能な場合、独立した潜在的要因の任意の非線形混合を一意に回復できることを示すことによって、多視点非線形独立成分分析（ICA）における同定可能性を確立している。対照的学習とビュー多様性に関する構造的仮定を用いて、著者らは、源の分布や混合関数に制限がない状況でも、深層ニューラルネットワークが混合を理論的に解消できることを証明している。

ABSTRACT

We consider the problem of recovering a common latent source with independent components from multiple views. This applies to settings in which a variable is measured with multiple experimental modalities, and where the goal is to synthesize the disparate measurements into a single unified representation. We consider the case that the observed views are a nonlinear mixing of component-wise corruptions of the sources. When the views are considered separately, this reduces to nonlinear Independent Component Analysis (ICA) for which it is provably impossible to undo the mixing. We present novel identifiability proofs that this is possible when the multiple views are considered jointly, showing that the mixing can theoretically be undone using function approximators such as deep neural networks. In contrast to known identifiability results for nonlinear ICA, we prove that independent latent sources with arbitrary mixing can be recovered as long as multiple, sufficiently different noisy views are available.

研究の動機と目的

• 複数のビューにわたる非線形混合が生じる非線形ICAにおける同定可能性の根本的課題に取り組む。
• 同一の潜在的源の複数の多様なビューを活用することで、単一ビュー非線形ICAにおける既知の同定不能性を克服する。
• 複数のビューの共同解析を用いて、アフィン変換を除いて真の独立した潜在的源が回復可能である理論的条件を確立する。
• 源の分布に依存しない、あるいは混合関数クラスに制限を設けない、新しい同定可能性フレームワークを提供する。
• 条件付き分布の制約によって測定されるビュー多様性が、任意の非線形混合にもかかわらず共通の潜在的源の回復を可能にすることを示す。

提案手法

• 各ビューが同一の独立した潜在的源の任意の滑らかで可逆な変換である多視点生成モデルを定式化する。
• 複数のビューの結合分布に対して対照的学習を適用し、共通の源の回復を自己教師付き表現学習問題として扱う。
• ビュー間の十分な多様性を保証するため、あるビューの条件付き分布に構造的制約を導入する。
• これらの多様性制約の下で、深層ニューラルネットワークなどの関数近似器を用いて、潜在的源がアフィン変換を除いて回復可能であることを証明する。
• 残差関数 $ R_{m{e},i} $ が $ m{s} $ に関して定数でなければならないという性質を用い、逆混合関数が互いにアフィン結合であることを導出する。
• すべてのビュー固有のデミックス関数 $ m{e}_i $ が同一の線形変換 $ m{eta} $ を共有することを確立し、源回復におけるグローバルな一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 同一の源が複数のノイズあり非線形混合ビューにのみ観測可能な場合、非線形ICAは同定可能となるか？
• RQ2 ビューに必要な構造的仮定は何か？ これにより、潜在的独立源の同定可能性が保証される。
• RQ3 条件付き分布の制約によって測定されるビュー多様性は、任意の非線形混合に対しても真の潜在的源の回復を可能にするか？
• RQ4 源の非ガウス性や後非線形構造を仮定せずに、対照的学習を用いて多視点非線形ICA設定における同定可能性を証明できるか？
• RQ5 親変数や追加の条件変数を観測せずに、複数のビューの結合分布のみを用いて、潜在的源をアフィン変換を除いて回復できるか？

主な発見

• 本稿では、源の分布や混合関数に制限がない状況でも、十分に多様な複数のビューが利用可能な場合、任意の非線形混合を伴う独立した潜在的源を回復可能であることを証明している。
• あるビューの条件付き分布が十分に多様であるという条件下で同定可能性が達成され、これが回復を可能にする構造的制約として機能する。
• 著者らは、すべてのデミックス関数 $ m{e}_i $ が逆混合関数 $ m{k}_i^{-1} $ のアフィン変換であることを示しており、共通の $ m{eta} $ と $ m{eta}_i $ を共有することで、ビュー間の一貫性が保証される。
• 残差関数 $ R_{m{e},i} $ が $ m{s} $ に関して定数でなければならないことから、$ m{e}_i imes m{k}_i $ がアフィンであることが導かれ、源の理論的回復が可能になる。
• 証明は、ビューごとの経験的平均の収束に依存しており、平均混合行列 $ m{eta} $ とシフト $ m{eta} $ が矛盾を避けるために各ビューで同一でなければならないことを示している。
• 本結果は、源の非ガウス性や混合関数の関数形に関する仮定を必要とせず、代わりにビュー多様性に依存する、多視点非線形ICAの新しい同定可能性フレームワークを確立している。