[論文レビュー] Self-supervised Learning from a Multi-view Perspective

Yao-Hung Hubert Tsai, Yue Wu+2 more|arXiv (Cornell University)|Jun 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 12

ひとこと要約

本稿は、入力と自己教師信号をマルチビュー・データとしてモデル化することで、自己教師学習（SSL）がタスク関連情報の抽出とタスク無関係情報の排除をどのように行うかを情報理論的枠組みで説明する。対照的学習と予測的学習を組み合わせた複合的SSL目的関数に逆予測損失を追加し、不要な情報を最小限に抑えることで、視覚的および視覚・言語的タスクにおける汎化性能の向上と過学習の低減を実現する。

ABSTRACT

As a subset of unsupervised representation learning, self-supervised representation learning adopts self-defined signals as supervision and uses the learned representation for downstream tasks, such as object detection and image captioning. Many proposed approaches for self-supervised learning follow naturally a multi-view perspective, where the input (e.g., original images) and the self-supervised signals (e.g., augmented images) can be seen as two redundant views of the data. Building from this multi-view perspective, this paper provides an information-theoretical framework to better understand the properties that encourage successful self-supervised learning. Specifically, we demonstrate that self-supervised learned representations can extract task-relevant information and discard task-irrelevant information. Our theoretical framework paves the way to a larger space of self-supervised learning objective design. In particular, we propose a composite objective that bridges the gap between prior contrastive and predictive learning objectives, and introduce an additional objective term to discard task-irrelevant information. To verify our analysis, we conduct controlled experiments to evaluate the impact of the composite objectives. We also explore our framework's empirical generalization beyond the multi-view perspective, where the cross-view redundancy may not be clearly observed.

研究の動機と目的

• 入力を自己教師信号としてマルチビュー・データとしてモデル化することで、自己教師学習（SSL）がなぜ成功するかを理論的に理解すること。
• SSL表現が潜在的な損失を伴ってタスク関連情報の抽出が可能であり、固定されたギャップをもってタスク無関係情報の排除が可能であることを形式化すること。
• 対照的学習と予測的学習のSSL目的関数を共通の情報理論的枠組みで統一すること。
• 条件付きエントロピーH(Z_X | S)を最小化し、不要な情報を抑制する新しい逆予測的学習目的関数を設計すること。
• マルチビュー仮定が成り立たない状況、例えばクロスモダリティ設定においても、本フレームワークを実証的に評価すること。

提案手法

• 入力Xと自己教師信号Sを同一データの2つのビューとみなすSSLをマルチビュー学習問題として形式化し、タスク関連情報Tは観測不能とする。
• 情報理論を用いて、学習された表現Z_Xが、限定された損失でタスク関連情報の抽出が可能であり、固定されたギャップで不要な情報を排除できることを示す。
• 対照的損失（L_CL）と予測的損失（L_FP）を組み合わせた複合的SSL目的関数を提案し、H(Z_X | S)を最小化する逆予測損失（L_IP）を追加して、不要な特徴を抑制する。
• 条件付きエントロピーH(Z_X | S)を最小化する逆予測的学習目的関数を導入し、2つのビュー間で共有されない情報を効果的に除去する。
• ラグランジュ乗数λ_IPを用いて複合的目的関数を補正し、実験的にL_IPがL_CLまたはL_FPの1/10のスケールである場合に最適な性能が得られることを特定した。
• 視覚的および視覚・言語的データセットを用いた制御実験を通じて、複合的目的関数が表現品質および汎化性能に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー仮定のもとで、自己教師学習表現はどのようにタスク関連情報の抽出とタスク無関係情報の排除を実現できるか？
• RQ2 情報理論的SSLの文脈において、対照的学習と予測的学習の目的関数の理論的関係は何か？
• RQ3 対照的学習、予測的学習、逆予測的学習を組み合わせた複合的目的関数は、表現品質および汎化性能の向上に寄与するか？
• RQ4 マルチビュー仮定が成立しない場合、例えばクロスモダリティ設定において、提案されたフレームワークはどの程度一般化可能か？
• RQ5 最良の性能を得るための、逆予測的損失の他の目的関数に対する最適なスケーリングは何か？

主な発見

• 対照的学習、予測的学習、逆予測的学習を組み合わせた提案された複合的目的関数は、対照的学習または予測的学習のみを用いる場合よりも優れた性能を示し、過学習も低減した。
• 実験的結果から、逆予測的損失（L_IP）がH(Z_X | S)を最小化することで、表現がタスク無関係情報に依存する度合いを効果的に低減していることが示された。
• 制御実験において、L_IPの最適なスケーリングはL_CLまたはL_FPの1/10であることが特定され、安定的かつ一般化可能なハイパーパrameterの範囲であることが示された。
• 本フレームワークはマルチビューの視点を越えて一般化可能である：例えば画像とテキストの間でクロスモダリティ設定を行っても、複合的目的関数は高い性能を維持しており、ビューの冗長性仮定への頑健性が示された。
• 理論的分析により、自己教師学習表現が限定された損失でタスク関連情報の抽出が可能であり、固定されたギャップで不要な情報を排除できることを確認した。これはSSLの成功に対する形式的根拠を提供する。
• 逆予測的損失が既存のSSL目的関数と容易に統合可能であり、視覚的および視覚・言語的ベンチマークにおいて下流タスクの汎化性能を向上させることを示した。