[論文レビュー] Self-Supervised Learning via Maximum Entropy Coding

Xin Liu, Zhongdao Wang+2 more|arXiv (Cornell University)|Oct 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、最小限の符号化長を計算可能な代替指標として用いることで、表現の汎用性を明示的に最適化するため、エントロピーを最大化するように設計された自己教師強化学習手法であるMaximum Entropy Coding (MEC) を提案する。MEC は、インスタンス識別のような偏りのある事前タスクに依存せずに、画像分類、物体検出、セグメンテーション、トラッキングを含む多様な下流タスクで最先端の性能を達成する。

ABSTRACT

A mainstream type of current self-supervised learning methods pursues a general-purpose representation that can be well transferred to downstream tasks, typically by optimizing on a given pretext task such as instance discrimination. In this work, we argue that existing pretext tasks inevitably introduce biases into the learned representation, which in turn leads to biased transfer performance on various downstream tasks. To cope with this issue, we propose Maximum Entropy Coding (MEC), a more principled objective that explicitly optimizes on the structure of the representation, so that the learned representation is less biased and thus generalizes better to unseen downstream tasks. Inspired by the principle of maximum entropy in information theory, we hypothesize that a generalizable representation should be the one that admits the maximum entropy among all plausible representations. To make the objective end-to-end trainable, we propose to leverage the minimal coding length in lossy data coding as a computationally tractable surrogate for the entropy, and further derive a scalable reformulation of the objective that allows fast computation. Extensive experiments demonstrate that MEC learns a more generalizable representation than previous methods based on specific pretext tasks. It achieves state-of-the-art performance consistently on various downstream tasks, including not only ImageNet linear probe, but also semi-supervised classification, object detection, instance segmentation, and object tracking. Interestingly, we show that existing batch-wise and feature-wise self-supervised objectives could be seen equivalent to low-order approximations of MEC. Code and pre-trained models are available at https://github.com/xinliu20/MEC.

研究の動機と目的

• 既存の自己教師強化学習の事前タスクに内在するバイアスが、多様な下流タスクへの汎用性を制限する問題に対処すること。
• 表現の構造を直接最適化する、原理的で汎用的な表現学習目的を構築すること。
• ヒューリスティックな事前タスクの代わりに、情報理論に基づいた最大エントロピーに根ざした統一的目標を導入すること。
• 大規模事前学習に適したスケーラブルな計算を用いたエンドツーエンドの学習を可能にすること。
• 既存のバッチ単位および特徴量単位のSSL手法を、共通の理論的枠組みで統合すること。

提案手法

• 学習された表現のエントロピーを最大化する新しい自己教師強化学習目的として Maximum Entropy Coding (MEC) を提案する。
• エントロピー推定のための計算的に取り扱いやすい代替指標として、損失を伴うデータ符号化における最小符号化長を用いる。
• 符号化長の対数行列式項を近似するためにテイラー展開を適用し、高速かつスケーラブルな計算を可能にする。
• 大規模事前学習に適した微分可能でスケーラブルな形に目的関数を再定式化する。
• シアンズ型表現学習におけるビュー一貫性の事前知識を、構造的インダクティブバイアスとして活用する。
• MEC の低次の近似が、既存の手法（SimSiam や Barlow Twins）と数学的に同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 表現エントロピーを明示的に最大化することは、多様な下流視覚タスクにおけるより良い汎用性をもたらすか？
• RQ2 表現構造の指標であるエントロピーは、自己教師強化学習においてどのように効率的に最適化できるか？
• RQ3 MEC と既存のバッチ単位または特徴量単位のSSL目的との理論的関係は何か？
• RQ4 MEC は、SimSiam や SimCLR といった強力なベースラインを、複数のデータ分布およびタスクタイプで上回るか？
• RQ5 負例マイニング、メモリキュー、クラスタリング部品を必要とせず、MEC は自然にモード崩壊を回避できるか？

主な発見

• MEC は ImageNet の線形プローブにおいて最先端の性能を達成し、以前の自己教師強化学習手法を上回る。
• MEC は画像分類、物体検出、インスタンスセグメンテーション、動画オブジェクトトラッキングを含む多様な下流タスクにおいて一貫した汎用性を示す。
• MEC はドメイン外汎用性において優れた性能を示し、未学習の ImageNet カテゴリへのゼロショット転送でも顕著な性能を発揮する。
• MEC の低次の近似は、SimSiam や Barlow Twins といった既存手法と数学的に同等であり、統一的な視点を提供する。
• インスタンス識別、メモリキュー、オンラインクラスタリングを必要とせず、強力な性能を維持する。
• MEC は、SimCLR や SimSiam といった既存のSSLフレームワークにスムーズに統合可能であり、一貫した性能向上をもたらす。