[論文レビュー] Demystifying Self-Supervised Learning: An Information-Theoretical Framework.

Yao-Hung Hubert Tsai, Yue Wu+2 more|arXiv (Cornell University)|Jun 10, 2020

Multimodal Machine Learning Applications参考文献 20被引用数 13

ひとこと要約

本論文は、自己教師あり学習がなぜ機能するかを説明する情報理論的フレームワークを提案する：入力と自己教師あり信号との間で共有される情報のみが下流タスクに寄与することを示し、タスク関連の内容を抽出しながら不要なノイズを除外する表現を可能にする。このフレームワークは、対照的および予測的目的を統合し、視覚および視覚言語タスクにおける制御された実験によって検証されている。

ABSTRACT

Self-supervised representation learning adopts self-defined signals as supervision and uses the learned representation for downstream tasks, such as masked language modeling (e.g., BERT) for natural language processing and contrastive visual representation learning (e.g., SimCLR) for computer vision applications. In this paper, we present a theoretical framework explaining that self-supervised learning is likely to work under the assumption that only the shared information (e.g., contextual information or content) between the input (e.g., non-masked words or original images) and self-supervised signals (e.g., masked-words or augmented images) contributes to downstream tasks. Under this assumption, we demonstrate that self-supervisedly learned representation can extract task-relevant and discard task-irrelevant information. We further connect our theoretical analysis to popular contrastive and predictive (self-supervised) learning objectives. In the experimental section, we provide controlled experiments on two popular tasks: 1) visual representation learning with various self-supervised learning objectives to empirically support our analysis; and 2) visual-textual representation learning to challenge that input and self-supervised signal lie in different modalities.

研究の動機と目的

• 入力と自己教師あり信号との間の共有情報の役割を特定することで、自己教師あり学習がなぜ効果的であるかを説明すること。
• 自己教師あり表現がタスクに不要な情報を除外し、下流タスクに必要な内容のみを保持する条件を形式化すること。
• 代表的な自己教師あり目的（例：対照的学習や予測学習）を情報理論的原則に結びつけること。
• 視覚的表現学習およびマルチモーダルな視覚的・言語的学習における制御された実験を用いて、理論的主張を実証的に検証すること。

提案手法

• 自己教師あり学習を、入力と自己教師あり信号との間の共有情報のみを抽出する表現が生成されるプロセスとして形式化し、相互情報量などの情報理論的概念を用いる。
• 下流性能が入力と自己教師あり信号の間の共有情報にのみ依存し、独立または重複する成分には依存しないという基本仮定を定義する。
• 自己教師あり表現が下流タスクに対して最適となる理論的条件を導出し、タスクに不要な情報が効果的に除外されることを示す。
• 標準的な自己教師あり目的（例：対照的学習、マスキング予測）を、冗長性を最小限に抑えつつ共有情報を保持するものにマッピングする。
• さまざまな自己教師あり目的を用いたコンピュータビジョン分野における制御された実験を設計し、フレームワークの予測をテストする。
• 入力と信号が異なるモダリティにある場合に備え、視覚的および言語的タスクへの応用を拡張して評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習が、入力からタスク関連の情報を的確に抽出し、不要な成分を除外する条件は何か？
• RQ2 対照的学習や予測学習といった一般的な自己教師あり目的は、共有情報のみを保持する原則とどのように整合するか？
• RQ3 この理論的フレームワークは、視覚や言語といった異なるモダリティ間でも自己教師あり学習の有効性を説明できるか？
• RQ4 視覚的および視覚的・言語的表現学習における制御された実験は、提示された情報理論的メカニズムをどの程度支持するか？

主な発見

• 自己教師あり表現は、理論的フレームワークが予測するように、入力と自己教師あり信号との間の共有情報を的確に捉え、保持している場合にのみ効果的である。
• このフレームワークは、対照的学習やマスキング予測目的が機能する理由を説明する：これらは、冗長性を暗黙的に最小限に抑え、共有情報を最大化する。
• 視覚的表現学習における制御された実験では、共有情報制約を尊重しない表現と比較して、本フレームワークに従って学習された表現が下流タスクにより良好に一般化することが示された。
• マルチモーダルな視覚的・言語的学習においても、入力と自己教師あり信号が異なるモダリティにあっても、フレームワークは有効であることが確認され、その頑健性が裏付けられた。
• 理論的分析により、自己教師あり表現が、誤った相関関係やノイズといったタスクに不要な情報を、共有コンテンツにのみ注目することで自然に除外することが示された。
• 実証的結果により、下流タスクのパフォーマンスが入力と自己教師あり信号との間の相互情報量と強く相関していることが確認され、フレームワークの核心仮定が検証された。