[論文レビュー] GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering

Chuang Niu, Jun Zhang+2 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 52被引用数 10

ひとこと要約

GATClusterは、中間特徴抽出や後処理を経ずに、1ホットエンコードされたラベル特徴を直接予測する自己教師ありガウスアテンションネットワークを提案する。4つの自己教師あり学習タスク（変換不変性、分離性最大化、エントロピー正則化、アテンションマッピング）を用い、自明な解を避けるための1ホットエンコード特徴を学習する。本手法は、画像クラスタリングベンチマークで最先端の性能を達成し、メモリ効率の良い2段階学習戦略により大規模画像の処理を効率的に行う。

ABSTRACT

We propose a self-supervised Gaussian ATtention network for image Clustering (GATCluster). Rather than extracting intermediate features first and then performing the traditional clustering algorithm, GATCluster directly outputs semantic cluster labels without further post-processing. Theoretically, we give a Label Feature Theorem to guarantee the learned features are one-hot encoded vectors, and the trivial solutions are avoided. To train the GATCluster in a completely unsupervised manner, we design four self-learning tasks with the constraints of transformation invariance, separability maximization, entropy analysis, and attention mapping. Specifically, the transformation invariance and separability maximization tasks learn the relationships between sample pairs. The entropy analysis task aims to avoid trivial solutions. To capture the object-oriented semantics, we design a self-supervised attention mechanism that includes a parameterized attention module and a soft-attention loss. All the guiding signals for clustering are self-generated during the training process. Moreover, we develop a two-step learning algorithm that is memory-efficient for clustering large-size images. Extensive experiments demonstrate the superiority of our proposed method in comparison with the state-of-the-art image clustering benchmarks. Our code has been made publicly available at https://github.com/niuchuangnn/GATCluster.

研究の動機と目的

• 中間特徴抽出や後処理に依存せずに、自己教師あり画像クラスタリングのための判別性のある意味的特徴を学習する課題に対処すること。
• すべてのサンプルが1つのクラスタに割り当てられるような自明なクラスタリング解を避けるために、エントロピー最大化と$l_1$-ノルム制約を用いてラベル特徴に制約を課すこと。
• 局所的な判別的領域に敏感なパラメトリックアテンションメカニズムを統合することで、クラスタリングにおけるオブジェクト指向の意味理解を向上させること。
• 統計的疑似ターゲットを用いたメモリ効率の良い2段階学習アルゴリズムにより、大規模画像（例：$128\times 128$以上）での有効な訓練を可能にすること。
• すべての訓練信号が訓練中に生成される完全な自己教師ありフレームワークを構築し、外部の教師信号の必要性を排除すること。

提案手法

• ラベル特徴定理を用いて、1ホットエンコードされたラベル特徴を直接出力することで、学習された特徴がクラスタリングに適しており、自明な解を回避することを保証する。
• 4つの自己学習タスクを設計：(1) 同一画像の増幅ビュー間の類似性を最大化する変換不変性；(2) サンプルペア間の類似性と乖離度を同時に向上させる分離性最大化；(3) エントロピー解析と$l_1$-ノルム制約により、クラスタ間でのサンプル分布を均等に保ち、クラスタの崩壊を防ぐ；(4) ソフトアテンション損失を伴うパラメトリックなガウスカーネルベースのアテンションモジュールにより、判別的局所領域を強調する。
• 2段階学習アルゴリズムを提案：まず、大規模バッチ上で分割統合方式で疑似ターゲットを計算し、次にその疑似ターゲットを用いてミニバッチで教師あり学習を行うことで、メモリ効率を向上させる。
• すべての損失関数を交互に最適化するのではなく、同時に最適化することで、訓練の安定性と収束性を向上させる。
• アテンションメカニズムは微分可能なガウスカーネルを用いて高解像度のアテンションマップを生成し、アブレーションスタディにより$6\times 6$解像度で最良の性能を示す。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり深層クラスタリングモデルは、中間特徴抽出や後処理を経ずに、意味的クラスタラベルを直接予測できるか？
• RQ2 自己教師あり深層クラスタリングにおいて、すべてのサンプルが1つのクラスタに集約されるような自明な解を効果的に回避できるか？
• RQ3 局所的な判別的領域を強調するアテンションメカニズムは、オブジェクト指向の意味的クラスタリングにどの程度寄与するか？
• RQ4 提案手法は、$128\times 128$のような大規模画像に対しても、高いクラスタリング精度とメモリ効率を維持しながらスケーラブルか？
• RQ5 異なる画像サイズやアテンションマップ解像度は、最終的なクラスタリング性能にどのように影響するか？

主な発見

• STL10では、GATClusterが最高で0.583、平均で0.537、標準偏差0.033の正解率を達成し、最先端手法を上回る。
• ImageNet-10では、$128\times 128$画像サイズで最高0.762、平均0.735の正解率を達成し、$96\times 96$入力に比べ顕著な向上を示した。
• $6\times 6$アテンションマップ解像度が最良の性能を示し、最高0.762、平均0.735の正解率を達成し、粗い・細かい解像度よりも優れた性能を示した。
• $128\times 128$を超えると、モデルの深さが増し、データセットサイズが限られるため、クラスタリング性能が頭打ちまたは低下する傾向にあり、画像解像度とモデル容量のトレードオフが顕在化した。
• アブレーションスタディにより、4つの構成要素（変換不変性、分離性、エントロピー、アテンション）がすべて性能向上に寄与しており、フルモデル設定が最良の結果を達成した。
• 2段階学習アルゴリズムにより、メモリ消費量を削減することで、$96\times 96$を超える大規模画像の処理が可能となり、有効な訓練が実現した。