[論文レビュー] Understanding Latent Correlation-Based Multiview Learning and Self-Supervision: An Identifiability Perspective

Qi Lyu, Xiao Fu+2 more|arXiv (Cornell University)|Jun 14, 2021

Neural Networks and Applications被引用数 8

ひとこと要約

本稿は、視覚を共有成分と個人成分の非線形混合としてモデル化することで、多視点表現学習における潜在相関最大化の理論的基盤を提供する。相関最大化が可逆変換を除いて共有成分を特定できることを証明し、適切な正則化のもとで個人成分の分離も可能であることを示しており、有限標本解析を含め、自己教師ありおよび多視点学習の原理的アプローチを提供する。

ABSTRACT

Multiple views of data, both naturally acquired (e.g., image and audio) and artificially produced (e.g., via adding different noise to data samples), have proven useful in enhancing representation learning. Natural views are often handled by multiview analysis tools, e.g., (deep) canonical correlation analysis [(D)CCA], while the artificial ones are frequently used in self-supervised learning (SSL) paradigms, e.g., BYOL and Barlow Twins. Both types of approaches often involve learning neural feature extractors such that the embeddings of data exhibit high cross-view correlations. Although intuitive, the effectiveness of correlation-based neural embedding is mostly empirically validated. This work aims to understand latent correlation maximization-based deep multiview learning from a latent component identification viewpoint. An intuitive generative model of multiview data is adopted, where the views are different nonlinear mixtures of shared and private components. Since the shared components are view/distortion-invariant, representing the data using such components is believed to reveal the identity of the samples effectively and robustly. Under this model, latent correlation maximization is shown to guarantee the extraction of the shared components across views (up to certain ambiguities). In addition, it is further shown that the private information in each view can be provably disentangled from the shared using proper regularization design. A finite sample analysis, which has been rare in nonlinear mixture identifiability study, is also presented. The theoretical results and newly designed regularization are tested on a series of tasks.

研究の動機と目的

• 多視点学習における潜在相関最大化が、なぜ視覚不変でアイデンティティを露わにする表現を効果的に捉えるのかを理解すること。
• 非線形生成モデルのもとで、相関最大化により共有成分が可逆変換を除いて形式的に同定可能であることを正式に確立すること。
• 適切な正則化を用いることで、個人成分が共有成分から証明可能に分離可能であることを示すこと。
• 先行する教師なし学習理論におけるギャップを埋めるために、非線形混合の同定可能性における有限標本解析を提供すること。
• 提案された枠組みを対照的自己教師あり学習に結びつけ、スラック変数による正則化を用いて実用的な実装を可能にすること。

提案手法

• 視覚が共有成分と個人成分の非線形混合として与えられ、混合が可逆的であり、成分間に独立性がある生成モデルを提案する。
• 共有成分の同定を、共有表現の一致を用いた潜在相関最大化（相関最大化）により、可逆変換を除いて行う。
• 共有表現のエントロピーを高めるためにスラック変数に基づく正則化スキームを導入し、個人成分の分離を可能にする。
• 有限標本解析を用いて、現実的なデータ制約のもとで同定可能性を確立し、先行研究の無限標本仮定を超える。
• 複数の視覚に対して異なる生成関数を持つ状況に対応するため、共有埋め込みとスラック変数のエントロピー正則化を用いたInfoNCEスタイルの対照的損失に目的関数を再定式化する。
• 理論的知見を応用し、DCCA、AM-SSL、対照的学習を共通の同定可能性の視点で統合するフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 非線形生成モデルのもとで、多視点学習における潜在相関最大化が、共有成分（視覚不変）を証明可能に同定できるか？
• RQ2 相関に基づく学習において、正則化を用いることで、個人成分が共有成分から分離可能となる条件は何か？
• RQ3 特に対照的および自己教師あり設定において、非線形多視点表現学習における有限標本同定可能性はどのように確立できるか？
• RQ4 相関最大化と対照的自己教師あり学習の間の関係は何か？複数の視覚に対して異なるデータ生成プロセスを持つ場合に、どのように形式化できるか？
• RQ5 理論的枠組みは、スラック変数とエントロピー正則化を用いて実装可能であり、学習の安定化と分離性の向上に寄与するか？

主な発見

• 提案された生成モデルのもとで、可逆混合と成分の独立性を仮定すると、潜在相関最大化は視覚間で真の共有成分を可逆変換を除いて同定する。
• 適切な正則化のもとで、各視覚の個人成分は共有表現から証明可能に分離可能であり、クロスビュー生成などのタスクに有効である。
• 有限標本解析により、現実的なデータ制約のもとで同定可能性が保証されることを示し、先行する非線形ICA理論における主要な制限を克服した。
• スラック変数を用いたInfoNCEベースの目的関数により、異なる生成関数を持つ複数の視覚への応用が可能となり、対照的SSLと接続された。
• 実験的検証により、提案された正則化がクラスタリング、クロスビュー変換、生成タスクにおける分離性と性能の両方を向上させることを確認した。
• 理論的解析により、共有表現のエントロピーを最大化することで、自明な解を防ぎ、共有成分の非退化した同定を保証することが示された。