[論文レビュー] Progressive Cluster Purification for Unsupervised Feature Learning

Yifei Zhang, Chang Liu+4 more|arXiv (Cornell University)|Jul 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 5

ひとこと要約

本稿では、段階的なクラスタ拡大とノイズ除去を通じて繰り返し疑似ラベルを精錬することで、クラスタリングに基づく表現学習を向上させる、新しい教師なし特徴学習手法であるプログレッシブ・クラスターピュリフィケーション（PCP）を提案する。クラスタ数を時間とともに減少させ、信頼性の低いおよび不安定なサンプルをフィルタリングすることでクラスタを浄化することで、ImageNet-100、CIFAR-100、およびオブジェクト検出ベンチマークで最先端の性能を達成し、MoCo や AND といった手法と顕著な差をつけて上回った。

ABSTRACT

In unsupervised feature learning, sample specificity based methods ignore the inter-class information, which deteriorates the discriminative capability of representation models. Clustering based methods are error-prone to explore the complete class boundary information due to the inevitable class inconsistent samples in each cluster. In this work, we propose a novel clustering based method, which, by iteratively excluding class inconsistent samples during progressive cluster formation, alleviates the impact of noise samples in a simple-yet-effective manner. Our approach, referred to as Progressive Cluster Purification (PCP), implements progressive clustering by gradually reducing the number of clusters during training, while the sizes of clusters continuously expand consistently with the growth of model representation capability. With a well-designed cluster purification mechanism, it further purifies clusters by filtering noise samples which facilitate the subsequent feature learning by utilizing the refined clusters as pseudo-labels. Experiments on commonly used benchmarks demonstrate that the proposed PCP improves baseline method with significant margins. Our code will be available at https://github.com/zhangyifei0115/PCP.

研究の動機と目的

• クラスタリングに基づく教師なし特徴学習手法が、クラスタ内に存在するクラス非一貫なサンプル（ノイズ）によって制限を受ける問題に対処すること。
• クラスタ数の事前知識に依存せずに、繰り返しクラスタリングの過程でノイズの影響を体系的に低減することで、特徴の判別性を向上させること。
• 自己誘導型で段階的なトレーニング戦略を構築し、安定的かつ信頼性の高い疑似ラベルを維持しながらモデルの表現能力を向上させること。
• 一般分類および細分化分類の両タスクにおいて、DeepCluster や Instance Recognition、Anchor Neighbourhood Discovery といった既存手法を上回ること。

提案手法

• プログレッシブ・クラスタリング（PC）は、サンプル数から真のクラス数まで段階的にクラスタ数を減少させることで、モデル表現の成長に伴いクラスタサイズを拡大させる。
• クラスターピュリフィケーション（CP）は二段階のノイズ除去を実施する：信頼性の低いサンプルフィルタリングでは、クラスタ重心から離れたインスタンスが除去され、不安定なサンプルフィルタリングでは投票機構を用いて一貫性のないサンプルを再割り当てする。
• 初期のクラスタリング段階でネットワークが低レベル特徴に集中しないようにするため、ウォームアップトレーニングフェーズを導入する。
• 精錬されたクラスタから得られる疑似ラベルを用いて、自己教師ありの方法で特徴抽出器を訓練し、段階的に特徴表現を精錬する。
• 本手法は、ResNet18 や AlexNet をバックボーンとしてエンドツーエンドに実装され、最終層の特徴に対して線形分類および k-NN を用いて評価される。
• フレームワークは複数ラウンドにわたり繰り返し適用され、各エポックで更新された特徴に基づいてクラスタ割り当てが更新される。

実験結果

リサーチクエスチョン

• RQ1 段階的なクラスタ拡大は、クラスタ内のノイズ汚染を低減させることで、教師なし特徴の判別性を向上させることができるか？
• RQ2 信頼性の低いおよび不安定なサンプルのフィルタリングによる繰り返しクラスターピュリフィケーションは、疑似ラベルの信頼性をどのように向上させるか？
• RQ3 本手法は、DeepCluster や Instance Recognition といった既存のクラスタリングに基づく教師なし学習手法と比較して、標準ベンチマークでどの程度優れているか？
• RQ4 本手法は、オブジェクト検出や細分化分類といった下流タスクへも良好に一般化するか？

主な発見

• AlexNet を用いた ImageNet-100 では、PCP は k-NN で 50.7% のトップ-1正答率、線形分類器では 56.9% を達成し、MoCo よりもそれぞれ 0.6%、1.5% 高かった。
• CIFAR-100 では、5ラウンドのトレーニング後、PCP は 87.3% の正答率を達成し、AND よりも 1% 高く、教師なし設定下でも優れた一般化性能を示した。
• CUB-200-2011 における細分化分類では、PCP は 16.9% の正答率を達成し、IR よりも 5.3%、DC よりも 3.8%、AND よりも 2.5% 高かった。
• PASCAL VOC 2007 におけるオブジェクト検出では、PCP は 39.8% の mAP を達成し、AND よりも 2.9% 高く、下流タスクへの転送性が優れていた。
• 可視化結果から、PCP の特徴は前景オブジェクトとより安定的かつ一貫性があるのに対し、IR や DC の特徴は背景ノイズを多く含んでいた。
• 本手法は初期化に強く、クラスタ数の事前知識が不要であり、信頼性の高い効率的なトレーニングを可能にした。