[論文レビュー] What Makes for Good Views for Contrastive Learning?

Yonglong Tian, Chen Sun+4 more|arXiv (Cornell University)|May 20, 2020

Adult and Continuing Education Topics参考文献 87被引用数 527

ひとこと要約

この論文は InfoMin 原理を提案する。対照学習における最適なビューは、ビュー間の相互情報を最小化しつつタスクに関連する情報を保持することで、強力なデータ拡張と半監督型のビュー学習フレームワークを用いて ImageNet の最先端結果を達成する。

ABSTRACT

Contrastive learning between multiple views of the data has recently achieved state of the art performance in the field of self-supervised representation learning. Despite its success, the influence of different view choices has been less studied. In this paper, we use theoretical and empirical analysis to better understand the importance of view selection, and argue that we should reduce the mutual information (MI) between views while keeping task-relevant information intact. To verify this hypothesis, we devise unsupervised and semi-supervised frameworks that learn effective views by aiming to reduce their MI. We also consider data augmentation as a way to reduce MI, and show that increasing data augmentation indeed leads to decreasing MI and improves downstream classification accuracy. As a by-product, we achieve a new state-of-the-art accuracy on unsupervised pre-training for ImageNet classification ($73\%$ top-1 linear readout with a ResNet-50). In addition, transferring our models to PASCAL VOC object detection and COCO instance segmentation consistently outperforms supervised pre-training. Code:http://github.com/HobbitLong/PyContrast

研究の動機と目的

• ビューの選択が対照的表現学習に与える影響を定義し分析する。
• 最適なビューはビュー間の相互情報を最小化しつつタスクに関連する情報を保持することを提案する。
• ビューの MI と下流タスクの性能との間に、タスク依存の一般的に逆U字形の関係を示す。
• InfoMin 原理の下で有効なビューを学習するための教師なしおよび半教師付き手法を開発する。
• ImageNet の線形リードアウトで最先端の結果と下流タスクへの転移性能を示す。

提案手法

• InfoNCE による相互情報目的を用いたマルチビュー対照学習を形式化する。
• ビューの十分・最小十分エンコーダーを定義する（f1, f2）。
• InfoMin 提案を提案する：最適なビューは I(v1; v2) を最小化する一方、I(v1; y)=I(v2; y)=I(x; y) を満たす。
• I(v1; v2) と下流の正確さ（代理指標としての I_NCE）の間に逆U字関係を示す。
• ラベル関連情報を保持しつつ MI を低減するビューを合成する教師なしおよび半教師付きビュー学習法を導入する。
• MI を低減し下流の性能を改善するデータ拡張戦略（InfoMin Aug）を示す。

実験結果

リサーチクエスチョン

• RQ1 対照学習におけるビューの選択は、捕捉される情報と下流タスクの性能にどのように影響するか？
• RQ2 ビュー間の相互情報における転移性能を最大化する「甘いスポット」はあるのか、そしてこれはどれくらいタスク依存か？
• RQ3 InfoMin 原理に沿って表現を改善するよう、教師なしまたは半教師付きでビューを学習できるか？
• RQ4 相互情報を減少させることを目的としたより強力なデータ拡張は、より良い下流精度と転移をもたらすか？
• RQ5 InfoMin フレームワークは ImageNet および下流タスクで観測される最先端の自己教師あり学習の改善を説明できるか？

主な発見

• 最適なビューはタスク依存である。
• ビュー間の相互情報と表現の品質には設定を超えて逆U字関係がある。
• 教師なしおよび半教師付きのビュー学習は InfoMin 原理の下で有効なビューを生み出すことができる。
• MI を減らすより強力なデータ拡張は下流の精度を向上させ、ImageNet の線形リードアウトの最先端結果に到達できる（ResNet-50 で Top-1 73.0%）。
• InfoMin 増強ビューは COCO/PASCAL VOC の設定で監督あり事前学習よりも物体検出・セグメンテーションタスクへより良く転送される。