[論文レビュー] SELF-LABELLING VIA SIMULTANEOUS CLUSTERING AND REPRESENTATION LEARNING

Yuki M. Asano, Rupprecht, Christian+1 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Image and Video Retrieval Techniques参考文献 45被引用数 98

ひとこと要約

本論文は SeLa を紹介する。 principled な自己ラベリング手法で、ラベリングを等分布を前提とした最適輸送問題として定式化し、 Sinkhorn ベースのアルゴリズムで効率的に解く。ImageNet、CIFAR、SVHN、Pascal VOC のベースラインにおいて最先端の自己教師あり表現を得る。

ABSTRACT

Combining clustering and representation learning is one of the most promising approaches for unsupervised learning of deep neural networks. However, doing so naively leads to ill posed learning problems with degenerate solutions. In this paper, we propose a novel and principled learning formulation that addresses these issues. The method is obtained by maximizing the information between labels and input data indices. We show that this criterion extends standard crossentropy minimization to an optimal transport problem, which we solve efficiently for millions of input images and thousands of labels using a fast variant of the Sinkhorn-Knopp algorithm. The resulting method is able to self-label visual data so as to train highly competitive image representations without manual labels. Our method achieves state of the art representation learning performance for AlexNet and ResNet-50 on SVHN, CIFAR-10, CIFAR-100 and ImageNet and yields the first self-supervised AlexNet that outperforms the supervised Pascal VOC detection baseline. Code and models are available.

研究の動機と目的

• 手動ラベルを用いずに深層表現を教師なしで学習する動機づけ。
• 退化解を回避する principled な自己ラベリングフレームワークを提案する。
• 等分布制約の下で、1つのクロスエントロピー目的関数を用いて表現学習とクラスタリングを結びつける。
• 効率的な Sinkhorn ベースの解法により、百万枚規模の画像と千を超えるラベルへこの手法を拡張する。

提案手法

• ラベリングを制約付きクロスエントロピー目的関数として定式化し、退化解を避けるために等分布制約を導入する。
• ラベル割り当て問題が輸送多面体上の最適輸送問題であることを示す。
• KL正則化を用いた高速な Sinkhorn-Knopp 変種で輸送問題を緩和・解くことでスケーラビリティを確保する。
• 現在のラベルでクロスエントロピーを最小化して表現学習を交互に行い、自己ラベリング（Sinkhorn 更新を介して疑似ラベルを更新）を行う。
• 等分布の下でデータのインデックスとラベル間の相互情報量を最大化する解釈を説明する。

実験結果

リサーチクエスチョン

• RQ1 収束を保証し、退化解を回避する同時クラスタリングと表現学習の統一目的関数を導出できるか？
• RQ2 最適輸送形式による等分布の強制が、単純なクラスタリング＋ CE 手法より自己教師あり学習の性能を改善するか？
• RQ3 百万枚規模の画像など大規模データセットと千を超えるラベルに対するスケーラビリティはどの程度か？
• RQ4 複数のクラスタリングヘッドとデータ拡張を用いることが、表現を安定化・向上させるうえでどのような利点をもたらすか？

主な発見

• SVHN、CIFAR-10、CIFAR-100、ImageNet に対して AlexNet と ResNet-50 の最先端表現学習性能を達成。
• 単一の教師信号に依存する他の自己教師あり手法を上回り、最近のコントラスト学習法と競合する。
• 教師あり Pascal VOC 検出ベースラインを上回る初の自己教師あり AlexNet。
• ラベル転移実験は、学習済みの疑似ラベルが scratch からの訓練やアーキテクチャ間の転送時に競争力のあるまたは優れた性能を可能にすることを示す。
• 等分布正則化を対してデータの不均衡に対する頑健性を示し、退化解に対する正則化として機能する。