[論文レビュー] Image Clustering with External Guidance

Yunfan Li, Peng Hu+4 more|arXiv (Cornell University)|Oct 18, 2023

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、WordNetのテキスト的意味を活用して特徴の識別性を向上させ、クラスタリング性能を向上させる外部からのガイド付き画像クラスタリング手法であるText-Aided Clustering (TAC) を提案する。画像とテキスト間の近接情報を統合的に蒸留することで、5つの標準的ベンチマークおよび3つの挑戦的ベンチマーク（ImageNet-1Kを含む）で最先端の結果を達成し、外部知識が監視信号として有効であることを示している。

ABSTRACT

The core of clustering is incorporating prior knowledge to construct supervision signals. From classic k-means based on data compactness to recent contrastive clustering guided by self-supervision, the evolution of clustering methods intrinsically corresponds to the progression of supervision signals. At present, substantial efforts have been devoted to mining internal supervision signals from data. Nevertheless, the abundant external knowledge such as semantic descriptions, which naturally conduces to clustering, is regrettably overlooked. In this work, we propose leveraging external knowledge as a new supervision signal to guide clustering, even though it seems irrelevant to the given data. To implement and validate our idea, we design an externally guided clustering method (Text-Aided Clustering, TAC), which leverages the textual semantics of WordNet to facilitate image clustering. Specifically, TAC first selects and retrieves WordNet nouns that best distinguish images to enhance the feature discriminability. Then, to improve image clustering performance, TAC collaborates text and image modalities by mutually distilling cross-modal neighborhood information. Experiments demonstrate that TAC achieves state-of-the-art performance on five widely used and three more challenging image clustering benchmarks, including the full ImageNet-1K dataset.

研究の動機と目的

• クラスタリングにおける内部監視信号の限界、特にデータの複雑さと分布に制限されることを是正する。
• 外部知識、特にWordNetからのテキスト的意味を、画像クラスタリングの新しい未利用の監視信号として探索および検証する。
• 外部テキスト的意味を画像特徴と効果的に統合する手法を設計し、クラスタリングの識別性と性能を向上させる。
• 外部知識が入力データと見かけ上関係がなくても、顕著な性能向上をもたらす可能性があることを示す。

提案手法

• TACは、画像の意味的中心を最も明確に区別できるWordNetの名詞を選択・取得することで、テキスト空間を構築し、特徴の識別性を向上させる。
• 画像クラスタのための識別的なテキスト対応物を生成するために、ソフトネス温度を用いたリtrievalプロセスを定式化する。
• 画像モダリティとテキストモダリティ間で近接情報を相互に蒸留することで、クラスタリング表現を整列・精錬する。
• クラスタの崩壊を防ぎ、均等なクラスタ分布を保つために、学習可能な重みを用いたバランス損失を採用する。
• 意味的中心の分布に基づき、最適なクラスタ数を自動的に特定するためのクラスタ数推定基準を導入する。
• 対照学習と相互蒸留を統合的に最適化することで、表現品質を向上させるクラスタリング目的を共同で最適化する。

Figure 1: The evolution of clustering methods could be roughly divided into three eras, including i) classic clustering , which designs clustering strategies based on data distribution assumptions; ii) deep clustering , which extracts clustering-favorable features with deep neural networks by formul

実験結果

リサーチクエスチョン

• RQ1 事前に存在する知識ベース（例：WordNet）からの外部的テキスト的知識が、画像クラスタリングの有効な監視信号として機能するか。
• RQ2 テキスト的意味をどのように画像特徴と効果的に統合することで、クラスタリング性能を向上させられるか。
• RQ3 テキスト拡張クラスタリングフレームワークの性能を左右するハイパーパrameterは何か。また、それらはどのように調整すべきか。
• RQ4 外部知識を活用することで、従来の自己教師ありまたは内部監視に基づくクラスタリング手法を上回る性能が得られるか。

主な発見

• TACは、ImageNet-1Kを含む5つの広く使われている画像クラスタリングベンチマークで最先端の性能を達成し、先行手法と比べ顕著な向上を示している。
• 本手法は多様なデータセットに対して高いロバスト性を示し、近隣数や相互蒸留温度といった主要ハイパーパrameterの値にかかわらず安定した性能を発揮する。
• 1クラスタあたりの識別的名詞の最適数は3～10の範囲にあり、この範囲より小さくても大きくても性能が低下する。
• 名詞リtrievalにおけるソフトネス温度は極めて重要である：低すぎると同じ名詞に収束し、高すぎると異なる画像クラスの意味が混合する。
• 式(2)に示されるクラスタ数推定基準は、最適なクラスタ数を効果的に特定できており、ImageNet-DogsおよびUCF-101の両方で性能向上をもたらしている。
• 全8つのデータセットでα = 5のバランス損失重みが有効であることが判明し、モデルの崩壊を防ぎ、均等なクラスタ割り当てを保証している。

Figure 2: The observations of this paper. As a showcase, two image examples from the ImageNet-Dogs dataset are illustrated. For each example, we show the manually annotated class names and the nouns obtained by the proposed TAC, as well as the zero-shot classification probabilities. From the example