[論文レビュー] Towards Domain-Agnostic Contrastive Learning

Vikas Verma, Minh-Thang Luong+3 more|arXiv (Cornell University)|Nov 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用数 9

ひとこと要約

本稿では、ドメイン固有のデータ拡張に依存せずに、Mixupベースのノイズを用いて対照学習のポジティブおよびネガティブサンプルを生成する、ドメインに依存しない対照学習（DACL）を提案する。線形、幾何的、またはバイナリなMixupを用いて、入力または隠れ状態でデータを混合することで、DACLは表形式、画像、グラフデータのあらゆる分野で最先端の性能を達成し、ガウスノイズベースのベースラインを上回り、SimCLRのようなドメイン固有の手法とも効果的に組み合わせることができる。

ABSTRACT

Despite recent success, most contrastive self-supervised learning methods are domain-specific, relying heavily on data augmentation techniques that require knowledge about a particular domain, such as image cropping and rotation. To overcome such limitation, we propose a novel domain-agnostic approach to contrastive learning, named DACL, that is applicable to domains where invariances, and thus, data augmentation techniques, are not readily available. Key to our approach is the use of Mixup noise to create similar and dissimilar examples by mixing data samples differently either at the input or hidden-state levels. To demonstrate the effectiveness of DACL, we conduct experiments across various domains such as tabular data, images, and graphs. Our results show that DACL not only outperforms other domain-agnostic noising methods, such as Gaussian-noise, but also combines well with domain-specific methods, such as SimCLR, to improve self-supervised visual representation learning. Finally, we theoretically analyze our method and show advantages over the Gaussian-noise based contrastive learning approach.

研究の動機と目的

• 畳み込み自己教師型学習手法が、切り出しや回転といったドメイン固有のデータ拡張に依存するという制限を解消すること。
• 対照学習における意味的に類似した（ポジティブ）および異なる（ネガティブ）サンプルを生成する、汎用的でドメインに依存しない手法の開発。
• Mixupノイズが自己教師型表現学習においてガウスノイズよりも一般化性能に優れることの理論的裏付けの提供。
• DACLが表形式、画像、グラフデータなど多様なデータモダリティにおいて有効であることを実証すること。
• DACLがドメイン固有の拡張法と補完的であることを示し、SimCLRのような手法と組み合わせて性能向上を達成できること。

提案手法

• DACLは、与えられたサンプルとランダムなサンプルを入力または隠れ状態レベルで混合することで、Mixupノイズを用いてポジティブサンプルを生成する。
• 3つのMixupバリエーションを検討した：線形Mixup（式3）、幾何的Mixup（式5）、バイナリMixup（式6）、それぞれ異なる混合戦略を定義する。
• 混合サンプルがランダムなネガティブサンプルよりもアーキテクチャに近いようにすることで、ポジティブペアを構築し、対照的学習の目的関数を満たす：sim(h_anchor, h_mix) > sim(h_anchor, h_neg)。
• グラフのような非ユークリッド的データでは、構造的情報を保持するために、混合を隠れ表現空間に適用する。
• Rademacher複雑度とマージン解析を用いて理論的分析を行い、Mixupノイズがガウスノイズよりも一般化境界が良好であることを示した。
• DACLは、データ拡張をMixupノイズに置き換えることで、ドメイン固有の手法（例：SimCLR）と統合され、補完的性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 Mixupノイズは、対照的自己教師型学習におけるタスク固有のデータ拡張のドメインに依存しない代替手段として機能できるか？
• RQ2 自己教師型表現学習において、Mixupノイズはガウスノイズよりも一般化性能に優れるか？
• RQ3 DACLは、表形式、画像、グラフデータなど多様なデータモダリティにおいてどのように性能を発揮するか？
• RQ4 DACLは、SimCLRの拡張法のようなドメイン固有の拡張法と効果的に組み合わせられるか、性能向上を達成できるか？
• RQ5 異なるデータ設定におけるMixupノイズの最適なハイパーパrameterは何か？

主な発見

• DACLは、表形式、画像、グラフデータのすべての評価ドメインでガウスノイズベースの対照学習を上回る性能を示した。
• Fashion-MNISTでは、DACLが線形評価精度93.4%を達成し、ガウスノイズベースラインの91.8%を上回った。
• CIFAR-10では、DACLが87.2%の線形精度を達成し、ガウスノイズベースラインの85.1%を上回り、SimCLRと組み合わせると1.3%の向上を示した。
• CIFAR-100では、DACLが線形精度を68.9%まで向上させ、ガウスノイズベースラインの66.7%を上回り、SimCLRと組み合わせると1.1%の向上を示した。
• ImageNetでは、DACLとSimCLRを組み合わせた結果、トップ-1精度74.1%を達成し、SimCLR単体の72.9%を上回り、優れた一般化性能と補完性を示した。