[論文レビュー] Information-Preserving Contrastive Learning for Self-Supervised Representations.

Tianhong Li, Lijie Fan+4 more|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 4

ひとこと要約

本稿では、データ内のショートカット（データ内の誤った相関関係）が存在しても、タスクに関連する情報を保持する自己教師あり表現学習フレームワークである情報保存型対照学習（IPCL）を提案する。従来の手法がデータ拡張によってショートカットを排除するのに対し、IPCLはショートカットと意味のある特徴の両方を明示的に保持するため、音声信号などの解釈不能なモダリティを含む多様な下流タスクおよびモダリティで優れた性能を発揮する。

ABSTRACT

Contrastive learning is very effective at learning useful representations without supervision. Yet contrastive learning has its limitations. It may learn a shortcut that is irrelevant to the downstream task, and discard relevant information. Past work has addressed this limitation via custom data augmentations that eliminate the shortcut. This solution however does not work for data modalities that are not interpretable by humans, e.g., radio signals. For such modalities, it is hard for a human to guess which shortcuts may exist in the signal, or how they can be eliminated. Even for interpretable data, sometimes eliminating the shortcut may be undesirable. The shortcut may be irrelevant to one downstream task but important to another. In this case, it is desirable to learn a representation that captures both the shortcut information and the information relevant to the other downstream task. This paper presents information-preserving contrastive learning (IPCL), a new framework for unsupervised representation learning that preserves relevant information even in the presence of shortcuts. We empirically show that the representations learned by IPCL outperforms contrastive learning in supporting different modalities and multiple diverse downstream tasks.

研究の動機と目的

• 対照学習がデータ内にショートカットが存在する際に関連情報を破棄するという限界を解消すること。
• 特にラジオ信号のような解釈不能なデータモダリティにおいて、ショートカットとタスクに関連する特徴の両方を保持する手法を開発すること。
• ショートカットが一部のタスクにのみ有益である場合でも、複数の下流タスクをサポートできる表現学習を可能にすること。
• 人間が設計したデータ拡張の制約を克服すること。これは、複雑または解釈不能なデータに対して現実的でないため。

提案手法

• IPCLは、ショートカットおよびその背後にある意味的コンテンツからの情報を明示的に保持する対照学習フレームワークを導入する。
• 拡張されたビューからの表現を学習する二重ブランチネットワークを用い、不変性と情報保持のトレードオフを維持する。
• モデルがスパイルスなショートカットと相関するが下流タスクに必要な情報を保持するよう促す正則化項を組み込む。
• ポジティブペア（拡張されたビュー）をバランスさせる対照的目的を採用し、有用な信号の破棄リスクを最小限に抑える。
• 異なるデータモダリティ、特に人間が理解できないものに対してもモジュラーかつ適用可能であるように設計されている。
• 人間の直感に依存しないデータ拡張を避けるために、アーキテクチャおよび損失設計を通じて情報保持を内蔵的に学習する。

実験結果

リサーチクエスチョン

• RQ1 スパイルスなショートカットがデータ内に存在する場合、対照学習を改善して関連情報を保持できるか？
• RQ2 ショートカットが一部のタスクにのみ利益をもたらす場合でも、複数の下流タスクに有用な表現をどのように学習できるか？
• RQ3 ラジオ信号のような解釈不能なデータモダリティで、人間が設計した拡張に依存せずに情報を保持することは可能か？
• RQ4 ショートカットの情報を保持することは、意味理解を要する下流タスクの性能を低下させるか？
• RQ5 ショートカットと意味的特徴の両方を保持することで、標準的な対照学習に比べて多様なモダリティおよびタスクで自己教師ありフレームワークが優れた性能を発揮できるか？

主な発見

• IPCLは、ラジオ波のような解釈不能な信号を含む、複数の下流タスクおよびデータモダリティで標準的な対照学習を上回る性能を発揮する。
• フレームワークは、ショートカットおよび意味的意味のあるコンテンツからの情報を効果的に保持し、より良い一般化を可能にする。
• ショートカットが有益なタスクでは性能を維持しながら、他のタスクではタスクに関連する特徴を確実に捉える。
• 人間が設計した拡張が現実的でない、あるいは不可能なデータタイプに対しても、良好に一般化する。
• 実験的結果から、IPCLは特に複雑または曖昧なデータ環境において、ベースラインの対照学習に比べて優れた表現品質を達成することが示された。