[論文レビュー] Improving Unsupervised Image Clustering With Robust Learning

Sungwon Park, Sungwon Han+5 more|arXiv (Cornell University)|Dec 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 9

ひとこと要約

本稿では、ノイズの多い偽ラベルをフィルタリングし、モデル予測を精緻化することで、自己教師あり画像クラスタリングを向上させる耐性のある学習ベースの再訓練フレームワークRUCを提案する。MixMatch、ラベルスムージング、コトレーニングを組み合わせた信頼度ベース、メトリクスベース、ハイブリッドフィルタリングにより、過信を低減し、性能を向上させ、SOTA（例：STL-10で86.7%）を達成するとともに、敵対的ノイズに対しても耐性を向上させる。

ABSTRACT

Unsupervised image clustering methods often introduce alternative objectives to indirectly train the model and are subject to faulty predictions and overconfident results. To overcome these challenges, the current research proposes an innovative model RUC that is inspired by robust learning. RUC's novelty is at utilizing pseudo-labels of existing image clustering models as a noisy dataset that may include misclassified samples. Its retraining process can revise misaligned knowledge and alleviate the overconfidence problem in predictions. The model's flexible structure makes it possible to be used as an add-on module to other clustering methods and helps them achieve better performance on multiple datasets. Extensive experiments show that the proposed model can adjust the model confidence with better calibration and gain additional robustness against adversarial noise.

研究の動機と目的

• 自己教師あり画像クラスタリングにおける過信とノイズの多い偽ラベルがモデル性能を低下させることを是正する。
• 誤分類されたサンプルをフィルタリングする耐性のある学習フレームワークを用いて、既存モデルの再訓練によりクラスタリング性能を向上させること。
• 教師なしラベルを必要とせず、モデルのキャリブレーションと敵対的ノイズに対する耐性を向上させること。
• さまざまな自己教師ありクラスタリングモデルに適用可能なプラグアンドプレイモジュールを開発すること。

提案手法

• RUCは、事前に訓練されたクラスタリングモデルからの偽ラベルをノイズの多いデータセットとして扱い、信頼度ベース、メトリクスベース、またはハイブリッドフィルタリング戦略によりクリーンなサンプルを同定する。
• クリーンなサブセットはラベル付きデータとして使用され、残りのサンプルは半教師あり学習設定におけるラベルなしデータとして扱われる。
• MixMatchが訓練に用いられ、一貫性正則化と偽ラベル付けを活用してラベル付きおよびラベルなしデータの両方を活用する。
• ラベルスムージングが適用され、過信を低減し、最適化中のノイズラベルの影響を軽減する。
• 2つのネットワークを用いたコトレーニングにより、学習の安定化と不純なサンプルからの誤差蓄積の低減を図る。
• 各訓練エポックにおいて、コリニューサルを通じてクリーンセットを再評価・更新し、高品質な監視を維持する。

実験結果

リサーチクエスチョン

• RQ1 耐性のある学習技術は、自己教師あり画像クラスタリングモデルの過信を効果的に低減できるか？
• RQ2 既存のクラスタリングモデルから得られるノイズの多い偽ラベルをどのようにフィルタリングすれば、下流の性能向上に寄与できるか？
• RQ3 再訓練フレームワークは、最先端の自己教師ありクラスタリング手法の精度とキャリブレーションをどの程度向上できるか？
• RQ4 提案手法は、クラスタリングタスクにおける敵対的摂動に対して耐性を向上させるか？

主な発見

• RUCを最先端のSCANモデルに適用した場合、STL-10データセットで5.3ポイントの向上を達成し、精度を81.4%から86.7%に向上させた。
• CIFAR-10では、RUCが90.3%のクラスタリング精度を達成し、現在のSOTAを上回った。
• RUCの期待キャリブレーション誤差（ECE）は、ベースモデルよりも顕著に低く、信頼度キャリブレーションが優れていることを示している。
• 定性的な分析から、RUCは誤分類を低減し、訓練エポックにわたって滑らかでよりバランスの取れたクラス分布をもたらすことがわかった。
• FGSMおよびBIMの敵対的攻撃に対して、RUCはデノイジングおよびキャリブレーション機能のおかげで、他の手法を上回る優れた耐性を示した。
• アブレーションスタディにより、RUCのすべての構成要素、特に3つのフィルタリング戦略が、性能向上に不可欠であることが確認された。