[論文レビュー] Deep Robust Clustering by Contrastive Learning

Huasong Zhong, Chong Chen+2 more|arXiv (Cornell University)|Aug 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 43

ひとこと要約

DRCは、割り当て確率と割り当て特徴を対照学習を通じて同時に最適化する1段階のディープクラスタリング手法を導入し、最先端手法と比べてクラスタリングの安定性と精度を向上させます。相互情報を二つの対照損失とクラスタ正則化項を用いて定式化します。

ABSTRACT

Recently, many unsupervised deep learning methods have been proposed to learn clustering with unlabelled data. By introducing data augmentation, most of the latest methods look into deep clustering from the perspective that the original image and its transformation should share similar semantic clustering assignment. However, the representation features could be quite different even they are assigned to the same cluster since softmax function is only sensitive to the maximum value. This may result in high intra-class diversities in the representation feature space, which will lead to unstable local optimal and thus harm the clustering performance. To address this drawback, we proposed Deep Robust Clustering (DRC). Different from existing methods, DRC looks into deep clustering from two perspectives of both semantic clustering assignment and representation feature, which can increase inter-class diversities and decrease intra-class diversities simultaneously. Furthermore, we summarized a general framework that can turn any maximizing mutual information into minimizing contrastive loss by investigating the internal relationship between mutual information and contrastive learning. And we successfully applied it in DRC to learn invariant features and robust clusters. Extensive experiments on six widely-adopted deep clustering benchmarks demonstrate the superiority of DRC in both stability and accuracy. e.g., attaining 71.6% mean accuracy on CIFAR-10, which is 7.1% higher than state-of-the-art results.

研究の動機と目的

• 割り当て確率だけを用いるとクラス内の多様性により深層クラスタリングの不安定性が生じる点を動機づけ、解決する。
• 対照学習を通じて不変なクラスタ割り当てと不変な特徴の両方を学習するフレームワークを提案する。
• 相互情報の最大化が、扱いやすい対照損失の最小化へ変換できることを示す。
• 複数の標準的なクラスタリングベンチマークにおいて頑健性と精度の向上を示す。

提案手法

• CNNとsoftmaxを用いて、割り当て特徴zと割り当て確率pを定義する。
• 元データと拡張データの2つのビュー間で相互情報を最大化する：割り当て確率（グローバルビュー）と割り当て特徴（ローカルビュー）。
• 相互情報の目的を2つの対照損失に変換する：L_AF（割り当て特徴）とL_AP（割り当て確率）。
• ト自明な解を防ぐために、クラスタ正則化損失L_CRを追加する。
• ResNetベースのバックボーン、バッチサイズ256、拡張ペアを用い、Adamでエンドツーエンド訓練する。ハイパーパラメータにはAFのT=0.5、APのT=0.95、λ=0.005を含む。

実験結果

リサーチクエスチョン

• RQ1 割り当て確率と割り当て特徴の両方を考慮することで、深層クラスタリングモデルはクラス間分離とクラス内結束の両方を改善できるか。
• RQ2 相互情報の最大化を、安定した訓練のための実用的な対照損失のセットとして再解釈することは可能か。
• RQ3 DRCは従来法と比較して標準的な教師なしクラスタリングベンチマークでどのように性能を示すか。
• RQ4 2つの対照損失とクラスタ正則化項のアブレーションが性能に与える影響は何か。

主な発見

• DRCは6つのベンチマークで最先端またはほぼ最先端のクラスタリング性能を達成し、ベースラインや従来手法に比べ平均精度で顕著な向上を示す。
• DRCは初期化間でクラスタリング結果の分散が小さくなり、安定性の向上を示す。
• 対照損失の両方（APとAF）は性能向上に寄与し、APは一般にクラスタリング精度に直接的な影響が大きい。
• クラスタ正則化（L_CR）は結果を改善し、自明な解を抑制する効果があり、特に難しいデータセットで顕著。
• より大きなバッチサイズは対照学習の性能と最終的なクラスタリング指標を向上させる。
• DRCは従来法と比較してクラス内分散を減らし、クラス間分散を増加させる。