[論文レビュー] Towards Good Practices in Self-supervised Representation Learning

Srikar Appalaraju, Yi Zhu+2 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 10

ひとこと要約

本論文は、対照的自己教師付き表現学習における重要な良好な実践法を特定し、実証的に検証しており、非線形プロジェクションヘッド、ガウスノイズ補正増幅、コサイン学習率スケジューリング、モーメンタムエンコーダーが、大量の負例に依存することを減らし、性能を向上させることを示している。著者らは、これらの実践法が学習を安定化させ、最小限の負例でも最先端の結果を達成できることを示しており、対照的および非対照的SSL手法の両方にとって実用的な知見を提供している。

ABSTRACT

Self-supervised representation learning has seen remarkable progress in the last few years. More recently, contrastive instance learning has shown impressive results compared to its supervised learning counterparts. However, even with the ever increased interest in contrastive instance learning, it is still largely unclear why these methods work so well. In this paper, we aim to unravel some of the mysteries behind their success, which are the good practices. Through an extensive empirical analysis, we hope to not only provide insights but also lay out a set of best practices that led to the success of recent work in self-supervised representation learning.

研究の動機と目的

• 最近の対照的インスタンス学習手法の成功の背後にある根本的要因を解明すること。これらの手法は、根本的な原則ではなく、特定の設計選択に依存しているように見える。
• なぜ非線形プロジェクションヘッドのような特定の構成要素が対照的SSLでは非常に効果的であるが、教師あり学習では効果がないのかを調査すること。
• データ増幅、学習率スケジューリング、負例サンプリング戦略が表現品質および耐性に与える影響を評価すること。
• 負例の数と質が性能に本当に重要であるのか、それとも良好な実践法によってその依存度を軽減できるかを特定すること。
• 対照的および非対照的自己教師付き学習フレームワークに一般化可能な、経験的に検証されたベストプラクティスのセットを提供すること。

提案手法

• 著者らは、ImageNetおよびPASCAL VOCデータセットを用いて、MoCo v2 (MoCov2) に対して広範なアブレーションスタディを実施し、主要な構成要素の影響を評価した。
• エンコーダーの直後に非線形プロジェクションヘッド（MLP）を導入し、アブレーションとDIP（Deep Image Prior）を用いた特徴の逆転解析によりその効果を分析した。
• ガウスノイズ補正増幅の役割を評価するために、これを削除し、線形プローブ精度の低下を測定した。
• コサイン学習率スケジューリングの影響を評価するために、これを無効化し、異なる負例数における性能を比較した。
• メモリキューをコサイン類似度に基づいてソートし、スケュー正規分布を用いてハードネガティブ例を過剰にサンプリングすることで、動的ハードネガティブサンプリングを実施した。
• 負例数（K = 512 から 65,536）を変化させながら、1つの良好な実践法を順次除外するアブレーションスタディを実施し、各要因の影響を隔離した。

実験結果

リサーチクエスチョン

• RQ1 なぜ非線形プロジェクションヘッドを追加することで、教師あり学習では効果がないにもかかわらず、対照的SSLでは性能が顕著に向上するのか？
• RQ2 なぜガウスノイズ補正増幅のような攻撃的なデータ増幅が、教師あり学習とは異なり、対照的学習では性能を低下させないのか？
• RQ3 負例の数と質が対照的学習の性能に及ぼす影響はどの程度か？
• RQ4 どの良好な実践法が、対照的学習における大量の負例への依存を低減させる主な要因であるか？
• RQ5 これらの良好な実践法は、非対照的自己教師付き学習手法へも一般化可能か？

主な発見

• MoCov2から非線形プロジェクションヘッドを削除すると、ImageNetの線形プローブ精度が67.5%から61.7%に低下し、表現品質におけるその重要性が示された。
• ランダムに初期化され凍結された非線形プロジェクションヘッドでさえ、性能を向上（62.9%の精度）させることから、学習可能なパラメータを超えて、非線形変換自体が有益であることが示された。
• ガウスノイズ補正増幅とコサイン学習率スケジューリングの組み合わせにより、負例数がK=512からK=65,536に変化しても安定した性能が達成された。
• 非線形プロジェクションヘッドを欠如させた場合、負例数が減少するにつれて性能が著しく低下し、この構成要素が低負例数に対する耐性にとって不可欠であることが示された。
• 動的ハードネガティブサンプリングは性能向上をもたらさなかったため、MoCov2における良好な実践法が、既に負例の質に対するモデルの耐性を高めていることが示唆された。
• モーメンタムが0.999のモーメンタムエンコーダーは極めて重要であり、これを0.5に低下させるとK=512で性能が59.8%に低下し、表現の安定性を維持する上でその重要性が明らかになった。