[論文レビュー] DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering

Amit Aflalo, Shai Bagon+2 more|arXiv (Cornell University)|Dec 12, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

DeepCutは、対応するグラフニューラルネットワーク（GNN）を用いて、古典的なクラスタリング手法がペairワイズ類似度を計算した後、生の深層特徴を無視するという限界を克服する。この手法では、生の深層特徴とペアワイズ類似度を直接入力とし、相関クラスタリング損失を用いてエンドツーエンドでkを指定しないクラスタリングを実現する。このアプローチにより、後処理やクラスタ数の事前指定なしに、オブジェクト検出、セグメンテーション、セマンティックパーツセグメンテーションの分野で最先端の性能を達成する。

ABSTRACT

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Current approaches often rely on extracting deep features from pre-trained networks to construct a graph, and classical clustering methods like k-means and normalized-cuts are then applied as a post-processing step. However, this approach reduces the high-dimensional information encoded in the features to pair-wise scalar affinities. To address this limitation, this study introduces a lightweight Graph Neural Network (GNN) to replace classical clustering methods while optimizing for the same clustering objective function. Unlike existing methods, our GNN takes both the pair-wise affinities between local image features and the raw features as input. This direct connection between the raw features and the clustering objective enables us to implicitly perform classification of the clusters between different graphs, resulting in part semantic segmentation without the need for additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training an image segmentation GNN. Furthermore, we employ the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters, allowing for k-less clustering. We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.

研究の動機と目的

• 古典的なクラスタリング手法がペアワイズ類似度を計算した後、生の深層特徴を捨ててしまうという限界を解消すること。
• 生の特徴と類似度に基づく目的関数を同時に最適化するGNNを用いて、エンドツーエンドの非教師あり画像セグメンテーションを可能にすること。
• 相関クラスタリングを自己教師付き損失関数として定式化することで、事前にクラスタ数を指定する必要がないkを指定しないクラスタリングを実現すること。
• 追加の後処理を必要とせず、テスト時最適化を用いて複数の画像にまたがるセマンティックパーツセグメンテーションを実現すること。
• 最先端の非教師あり手法と比較して、オブジェクト検出、セグメンテーション、パーツレベルのセグメンテーションにおいて優れた性能を示すこと。

提案手法

• 軽量なGNNを、古典的なグラフクラスタリングの目的関数（特に正規化カットと相関クラスタリング）を自己教師付き損失として用いて訓練する。
• GNNは、事前学習済みのビジョントランスフォーマー（DINO ViT）から得られる生の深層特徴とペアワイズ類似度を入力とし、高次元特徴の情報を保持する。
• 相関クラスタリング（CC）目的関数を損失関数として用い、類似しないノード間の反発力を負の類似度でモデル化することで、kを指定しないクラスタリングを実現する。
• クラスタ数に感度を与えるハイパーパrameter α を導入し、CC関数における反発力の強度を調整することで、クラスタ数を制御する。
• 2段階のパイプラインを採用：まず前景と背景を分離し、その後それぞれに独立してGNNベースのクラスタリングを適用することで、セグメンテーションの正確性を向上させる。
• テスト時最適化を各画像に対して適用することで、モデルの微調整や後処理を必要とせず、セマンティックパーツセグメンテーションを実現する。

Figure 2: Method overview: After extracting deep features from a pretrained ViT model, we construct a similarity matrix based on the patch-wise feature similarities, which becomes our adjacency matrix. We build a graph using this adjacency matrix and the deep features as node features. Next, we trai

実験結果

リサーチクエスチョン

• RQ1 古典的なグラフクラスタリングの目的関数を自己教師付き損失として用いることで、GNNをエンドツーエンドの非教師あり画像セグメンテーションモデルとして効果的に訓練できるか。
• RQ2 生の深層特徴をクラスタリングプロセスに直接統合することで、ペアワイズ類似度ベースの手法を上回るセグメンテーション性能を達成できるか。
• RQ3 GNNを用いて相関クラスタリングを最適化することで、事前にクラスタ数を知らなくても、画像セグメンテーションにおけるkを指定しないクラスタリングを実現できるか。
• RQ4 提案手法が、後処理を必要とせず、多様な画像にまたがる暗黙的なセマンティックパーツセグメンテーションをどの程度達成できるか。
• RQ5 k感度パラメータαが、異なるデータセットやモデルにおいてクラスタ数とセグメンテーション品質にどのように影響を与えるか。

主な発見

• DeepCutは、複数のベンチマークで非教師ありオブジェクト検出、セグメンテーション、セマンティックパーツセグメンテーションにおいて最先端の性能を達成する。
• スペクトルクラスタリングや連結成分解析といった古典的手法のベースラインを上回り、特に分散と正確性において優れる。スペクトルクラスタリングは高い分散を示し、連結成分解析はクラスタの分離に失敗する。
• ファッショングッズ画像データセットでは、相関クラスタリング損失を用いたDeepCutが、3、4、5クラスの10回の繰り返し実験において、最高の分類純度と最小の標準偏差を達成した。
• k感度パrameter α を用いることでクラスタの粒度を制御可能である：小さい値ではより細かい分割が得られ、異なるα設定下でも類似した物体（例：人や自転車）のクラスタリングが一貫して維持される。
• GNNベースのアプローチにより、後処理を必要とせず、暗黙のセマンティックパーツセグメンテーションが実現可能である。これは、異なる画像間で意味的に類似した画像部品が一貫してグループ化されることで実証された。
• 相関クラスタリングを微分可能損失関数として用いることで、従来は扱いにくかった目的関数を古典的手法で最適化可能となり、kを指定しないクラスタリングにおけるエンドツーエンド学習の可能性を示した。

Figure 3: Proposed two-stage clustering: First, we cluster the image into two disjoined sets, then apply clustering to the foreground and background separately.