[論文レビュー] Deep Clustering for Unsupervised Learning of Visual Features

Mathilde Caron, Piotr Bojanowski+2 more|arXiv (Cornell University)|Jul 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 73被引用数 482

ひとこと要約

DeepCluster は、k-means で convnet 特徴をクラスタリングし、クラスタ割り当てを予測するようにネットワークを更新することを交互に行い、エンドツーエンドの無監督特徴学習を可能にし、ImageNet、YFCC100M、Pascal VOC で最先端の転移性能を達成します。

ABSTRACT

Clustering is a class of unsupervised learning methods that has been extensively applied and studied in computer vision. Little work has been done to adapt it to the end-to-end training of visual features on large scale datasets. In this work, we present DeepCluster, a clustering method that jointly learns the parameters of a neural network and the cluster assignments of the resulting features. DeepCluster iteratively groups the features with a standard clustering algorithm, k-means, and uses the subsequent assignments as supervision to update the weights of the network. We apply DeepCluster to the unsupervised training of convolutional neural networks on large datasets like ImageNet and YFCC100M. The resulting model outperforms the current state of the art by a significant margin on all the standard benchmarks.

研究の動機と目的

• 大規模データセット上で手動ラベルなしの普遍的な視覚特徴の無監督学習を動機づける。
• クラスタ割り当てと同時に convnet パラメータを学習する拡張可能な方法を提案する。
• クラスタリングに基づく疑似ラベルがエンドツーエンドの特徴学習を監督できることを示す。
• アーキテクチャの選択やデータ分布に対する本手法の頑健性を示す。
• 標準ベンチマークとインスタンスレベルの検索で転移性能を評価する。

提案手法

• f_theta を convnet の特徴抽出器として表現し、特徴にクラスタラベルを割り当てるためにk-meansを用いる。
• 特徴を反復的にクラスタリングして疑似ラベルを得て、これらの疑似ラベルを識別損失で予測することによりネットワークパラメータを更新する。
• クラスタリング前に特徴へPCA次元削減と正規化を適用し、最適化にはバックプロパゲーションを伴う標準的なSGDを用いる。
• 空クラスタの処理や小さなクラスタのサンプルの再重み付けなど、単純な回避策を組み込む。
• ImageNetとYFCC100MでAlexNetとVGG-16アーキテクチャを用いた実験を行い、必要に応じて色を除去するためにSobelフィルタを適用する。
• ImageNet/Places分類、Pascal VOC（分類、検出、セグメンテーション）、インスタンス検索を含む下流タスクで学習特徴を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間のラベルなしで、エンドツーエンドの convnet 訓練をクラスタリングベースの疑似ラベルで効果的に推進できるか？
• RQ2 深層特徴の反復的クラスタリングは、学習表現の品質と転移性にどのように影響するか？
• RQ3 （例：AlexNet 対 VGG-16）などのアーキテクチャ選択とデータ分布（ImageNet 対 YFCC100M）が無監督特徴学習の性能にどう影響するか？
• RQ4 本手法は単純な解決策に対してどれくらい頑健か、崩壊を防ぐ戦略（空のクラスタ、疑似ラベルの不均衡など）は何か？

主な発見

• DeepCluster は大規模データセットで事前学習した後、標準的な転移タスクにおいて無監督特徴学習法の中で最先端の性能を達成する。
• DeepCluster とより深いアーキテクチャ（例：VGG-16）を用いると、転移タスクで AlexNet より顕著な向上を得られる。
• 未整理データ分布（YFCC100M）での事前学習でも強い転移性能を示し、データバイアスへの頑健性を示す。
• 凍結した層に対する線形プローブは、DeepCluster で学習した高次層特徴が複数のタスクで教師あり手法と競合することを示す。
• DeepCluster は Pascal VOC で顕著な改善をもたらし、特にセマンティックセグメンテーションで効果的であり、インスタンス検索にも有効であり、学習特徴におけるインスタンスレベル情報の価値を強調している。