[論文レビュー] Deep Comprehensive Correlation Mining for Image Clustering

Jianlong Wu, Keyu Long+5 more|arXiv (Cornell University)|Apr 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 18

ひとこと要約

本稿では、サンプル単位の相関、入力変換に対する局所的ロバスト性、および特徴量間の三重相互情報量を統合的に活用することで、判別性の高い表現を学習するエンドツーエンドのディープクラスタリングフレームワークであるDeep Comprehensive Correlation Mining (DCCM) を提案する。DCCMはCIFAR-10で62.3%のクラスタリング精度を達成し、最先端手法よりも10.1%の向上を示した。

ABSTRACT

Recent developed deep unsupervised methods allow us to jointly learn representation and cluster unlabelled data. These deep clustering methods mainly focus on the correlation among samples, e.g., selecting high precision pairs to gradually tune the feature representation, which neglects other useful correlations. In this paper, we propose a novel clustering framework, named deep comprehensive correlation mining(DCCM), for exploring and taking full advantage of various kinds of correlations behind the unlabeled data from three aspects: 1) Instead of only using pair-wise information, pseudo-label supervision is proposed to investigate category information and learn discriminative features. 2) The features' robustness to image transformation of input space is fully explored, which benefits the network learning and significantly improves the performance. 3) The triplet mutual information among features is presented for clustering problem to lift the recently discovered instance-level deep mutual information to a triplet-level formation, which further helps to learn more discriminative features. Extensive experiments on several challenging datasets show that our method achieves good performance, e.g., attaining $62.3\%$ clustering accuracy on CIFAR-10, which is $10.1\%$ higher than the state-of-the-art results.

研究の動機と目的

• 既存のディープクラスタリング手法が二重相関にのみ注目しており、上位レベルの意味的・構造的情報を無視するという限界に対処すること。
• 高信頼度の仮のラベルを介したカテゴリレベルの監督を統合することで、特徴量の判別性を向上させること。
• 同じ画像の元画像と変換版に対する予測の一貫性を保証することで、局所的不変性を強化し、ロバスト性を向上させること。
• インスタンスレベルの相互情報量を三重レベルの定式化に拡張し、より良い特徴量学習を実現すること。

提案手法

• ネットワークは深層畳み込みニューラルネットワーク（CNN）を用いて予測特徴量を生成し、その特徴量が1-of-K分布に近づくように制約を課すことで、信頼性の高い仮のラベルの割り当てを可能にする。
• 特徴量間のコサイン類似度から類似度グラフを構築し、高い閾値を用いたストラテジーにより、信頼度の高い仮のグラフエッジを選択して監督信号とする。
• 同じ画像の元画像と変換版に対して一貫した予測を出力するようにネットワークを訓練することで、局所的ロバスト性を強制する。
• 同じサンプルの浅い層、深い層、グラフ強化された特徴量間で三重相互情報量を最大化することで、層間を跨ぐ判別性の高い情報を保持する。
• エンドツーエンドの最適化において、仮のラベル損失、ロバスト性損失、三重相互情報量損失という3つの損失成分を同時に最適化する。
• プログレッシブな訓練戦略を採用し、エポックを経て仮のグラフと仮のラベルを段階的に改善することで、監督品質を高める。

Figure 1: Comprehensive correlations mining. (a) Various correlations; (b) Connect pair-wise items in higher semantic level progressively; (c) Better results of DCCM than the state-of-the-art DAC [ 9 ] on CIFAR-10 [ 29 ] . Best viewed in color!

実験結果

リサーチクエスチョン

• RQ1 仮のラベルによるカテゴリレベルの情報統合が、二重相関学習にとどまらず、ディープクラスタリング性能の向上に寄与するか。
• RQ2 入力変換に対する局所的ロバスト性を強制することで、教師なしクラスタリングにおける特徴表現品質にどのような影響を与えるか。
• RQ3 インスタンスレベルの相互情報量を三重レベルの定式化に拡張することで、さらに特徴量の判別性が向上するか。
• RQ4 サンプル、変換、層間の包括的相関が、一体となってクラスタリング精度をどの程度向上させるか。

主な発見

• DCCMはCIFAR-10で62.3%のクラスタリング精度を達成し、前回の最先端手法よりも10.1%の向上を示した。
• 仮のラベル監督の導入により、仮のグラフのみを用いた場合と比較して、クラスタリング精度が7.1%絶対的に向上した。
• 三重相互情報量損失を追加することで、仮のグラフと仮のラベルのみのベースラインからさらに4.0%の精度向上が得られた。
• BCubedの精度と再現率の曲線から、訓練エポックを経るごとに仮のグラフの品質が段階的に向上していることが示され、効果的な自己教師付き学習が実現していることが裏付けられた。
• 最大の予測確率の分布は、初期化時では予測確率が0.7を超えるサンプルが10%未満であったのに対し、収束時にはほぼ80%にまで上昇し、学習済み特徴量の1-of-K動作が確認された。
• 仮のラベル選択に高い閾値（0.95）を用いることが重要であり、性能はより高い閾値で向上する傾向にあり、低信頼度のラベルが学習を劣化させることを示している。

Figure 2: The pipeline of the proposed DCCM method. Based on the ideally one-hot prediction feature, we compute the highly-confident pseudo-graph and pseudo-label to guide the feature learning of both original and transformed samples, investigating both correlations among different samples and local