[論文レビュー] Online Deep Clustering for Unsupervised Representation Learning

Xiaohang Zhan, Jiahao Xie+3 more|arXiv (Cornell University)|Jun 18, 2020

Video Surveillance and Tracking Methods参考文献 62被引用数 7

ひとこと要約

本稿では、クラスタリングとディープネットワーク学習を連続的でエンドツーエンドのプロセスに統合する、新しい教師なし表現学習手法であるオンラインディープクラスタリング（ODC）を提案する。従来手法の不安定な交互更新を回避する。サンプルとクラスターセンタの動的メモリを維持し、ラベルと特徴量を繰り返し更新することで、ベンチマークデータセットにおいて著しく安定した学習と優れた性能を達成し、特に微調整手法として用いた際の精度向上も見られた。

ABSTRACT

Joint clustering and feature learning methods have shown remarkable performance in unsupervised representation learning. However, the training schedule alternating between feature clustering and network parameters update leads to unstable learning of visual representations. To overcome this challenge, we propose Online Deep Clustering (ODC) that performs clustering and network update simultaneously rather than alternatingly. Our key insight is that the cluster centroids should evolve steadily in keeping the classifier stably updated. Specifically, we design and maintain two dynamic memory modules, i.e., samples memory to store samples labels and features, and centroids memory for centroids evolution. We break down the abrupt global clustering into steady memory update and batch-wise label re-assignment. The process is integrated into network update iterations. In this way, labels and the network evolve shoulder-to-shoulder rather than alternatingly. Extensive experiments demonstrate that ODC stabilizes the training process and boosts the performance effectively. Code: https://github.com/open-mmlab/OpenSelfSup.

研究の動機と目的

• 特徴量のクラスタリングとネットワークパラメータの更新の間隔的な入れ替えによる、ディープクラスタリング学習の不安定性を解消すること。
• 教師あり学習の連続的学習を模倣する、クラスタリングと表現学習を統合したフレームワークを構築すること。
• 手動によるアノテーションなしで、教師なし表現学習の安定性と性能を向上させること。
• 提案されたオンラインクラスタリング機構を用いて、自己教師ありモデルの有効な微調整を可能にすること。

提案手法

• ODCは、従来手法のバッチ単位・エポック単位のクラスタリングに代わり、ネットワーク学習の各イテレーションにラベル再割り当てと重心更新を統合する。
• サンプルメモリ（特徴量と仮ラベルを格納）と重心メモリ（進化するクラスタ中心を追跡）の2つの動的メモリモジュールを維持する。
• 現在のフォワードパスからの特徴量を用いて、分離された特徴抽出を必要とせずにオンラインでラベル再割り当てを実行する。
• 移動平均戦略を用いて重心を段階的に更新することで、滑らかな進化を確保し、急激なシフトを防ぐ。
• ラベルとネットワークパラメータが同時に進化するため、教師あり学習に類似した連続的・途切れのない学習を可能にする。
• 標準的なCNNと互換性があり、他の自己教師あり手法による事前学習後に微調整段階として適用可能である。

実験結果

リサーチクエスチョン

• RQ1 学習中にオンラインで繰り返しラベル再割り当てを実行することで、教師なしクラスタリングにおけるディープ表現学習の安定性を向上させることができるか？
• RQ2 クラスタリングをネットワーク更新イテレーションに統合することで、交互学習と比較して収束性と性能にどのような影響を与えるか？
• RQ3 ODCは、他の自己教師あり手法で事前学習されたモデルの表現品質をどの程度向上させることができるか？
• RQ4 ODCは、現実のデータセットに一般的に見られる長尾分布に対して十分に一般化できるか？
• RQ5 ODCは、元のImageNetのラベルに存在しない、意味的に整合性のある新たなクラスタ（例：『手』『足』『檻の中の動物』『ロープで犬を連れる人物』）を発見できるか？

主な発見

• ODCは最終的な学習損失が約2.0にまで低下し、従来のディープクラスタリング（DC）で観察された2.9の損失と比較して著しく低いことが示され、優れた学習安定性を示した。
• ODCにおけるラベル入れ替え率は時間経過とともに減少し、低値に収束するため、学習中におけるクラスタ割り当ての安定性と一貫性が裏付けられた。
• ODCは、最大クラスが最小クラスの64倍のサンプルを含む極端な長尾ImageNetバージョンに対しても強固な性能を維持し、顕著な性能低下が見られなかった。
• ODCは、元のImageNetのアノテーションに存在しない新たな意味的クラスタ（例：『手』『足』『檻の中の動物』『ロープで犬を連れる人物』）を発見した。
• 微調整手法として用いた場合、ODCは他の自己教師ありアプローチで事前学習されたモデルの性能を顕著に向上させた。
• 最小クラスタサイズのしきい値といったハイパーパrameterの選択に対して頑健であり、妥当な範囲で一貫した性能を示した。