[論文レビュー] Deep Spectral Methods: A Surprisingly Strong Baseline for Unsupervised Semantic Segmentation and Localization

Luke Melas-Kyriazi, Christian Rupprecht+2 more|arXiv (Cornell University)|May 16, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

この論文は、自己教師付き深層特徴からのラプラシアン行列の固有ベクトルを活用することで、教師なしのセマンティックセグメンテーションおよびオブジェクト検出において最先端の性能を達成する、シンプルでありながら強力なスペクトル手法を提案する。画像のパッチをグラフ上のノードとみなして類似度行列にスペクトルクラスタリングを適用することで、ラベルなしのデータを用いて複雑なシーンを意味的に意味のある領域に分解する。PASCAL VOC および MS-COCO において、従来の深層学習専用の手法を上回る性能を発揮する。

ABSTRACT

Unsupervised localization and segmentation are long-standing computer vision challenges that involve decomposing an image into semantically-meaningful segments without any labeled data. These tasks are particularly interesting in an unsupervised setting due to the difficulty and cost of obtaining dense image annotations, but existing unsupervised approaches struggle with complex scenes containing multiple objects. Differently from existing methods, which are purely based on deep learning, we take inspiration from traditional spectral segmentation methods by reframing image decomposition as a graph partitioning problem. Specifically, we examine the eigenvectors of the Laplacian of a feature affinity matrix from self-supervised networks. We find that these eigenvectors already decompose an image into meaningful segments, and can be readily used to localize objects in a scene. Furthermore, by clustering the features associated with these segments across a dataset, we can obtain well-delineated, nameable regions, i.e. semantic segmentations. Experiments on complex datasets (Pascal VOC, MS-COCO) demonstrate that our simple spectral method outperforms the state-of-the-art in unsupervised localization and segmentation by a significant margin. Furthermore, our method can be readily used for a variety of complex image editing tasks, such as background removal and compositing.

研究の動機と目的

• 複雑なシーンにおける、人為的ラベルなしの教師なしセマンティックセグメンテーションおよびオブジェクト検出の課題に取り組む。
• 現代の自己教師付き深層特徴と組み合わせた伝統的なスペクトルグラフ手法が、教師なしビジョンタスクの驚くべきベースラインとして機能しうるかを検討する。
• 従来の手法が1枚の画像に1つのオブジェクトに限定されるのに対し、1枚の画像に複数の意味的領域を同定できるようにする。
• 実用的な画像編集応用を想定し、ソフトマット（マットイング）への応用を含めた画像の柔らかく滑らかな分解に拡張する。

提案手法

• 自己教師付き特徴抽出器（例：DINO ViT）と色の類似度を用いて、画像パッチ間に重み付きグラフを構築する。
• グラフの隣接行列と次数行列からラプラシアン行列を構築し、局所的およびグローバルな画像構造をモデル化する。
• ラプラシアン行列の固有ベクトルを計算し、最小の非ゼロ固有値に対応する固有ベクトルがシーン内で最も顕著なオブジェクトを表す。
• 固有ベクトルのしきい値処理を用いて、オブジェクト検出のための初期のバイナリマスクまたはセグメンテーションを生成する。
• 全データセットの全画像領域の特徴ベクトルをクラスタリングして、一貫性のある意味的（擬似）ラベルを割り当てる。
• 擬似ラベルデータを用いた自己学習により、セグメンテーション予測を精緻化し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き深層特徴と組み合わせたスペクトルグラフ手法が、教師なしセマンティックセグメンテーションにおいて、現代の深層学習専用手法を上回ることができるか？
• RQ2 深層特徴の類似度グラフの固有値分解が、追加の訓練や教師信号なしに意味的に意味のある画像領域を自然に得られるか？
• RQ3 この手法は、従来の手法が1枚の画像に1つのオブジェクトに限定されるのに対し、1枚の複雑な画像に複数の明確に区別できる意味的オブジェクトを効果的にセグメンテーションできるか？
• RQ4 このフレームワークをどれほど柔軟にソフトマット（マットイング）および実世界の編集タスクに応用できるか？

主な発見

• 提案手法は、PASCAL VOC 2012 および MS-COCO において、MaskContrast や他のSOTA手法を上回る最先端の性能を達成した。
• この手法は、1枚の画像に複数の明確に異なる意味的オブジェクト（例：ワンコとネコ）を効果的にセグメンテーションできる。一方、MaskContrast は複数クラスを区別できない。
• DINO ViT-B 特徴を用いることで、PASCAL VOC 2012 でmIoU 43.6%を達成し、以前のSOTA（40.2%）を顕著に上回った。
• 自己教師付き特徴と組み合わせたスペクトルアプローチは、画像マットイングに一般化でき、前景抽出や合成に適した意味的に整合性のあるソフトマットを生成した。
• 微調整なしでも、複雑なシーンに対して堅牢に動作し、教師なし設定におけるスペクトルのインダクティブバイアスの有効性を示した。
• 計算的にも全解像度の個々の画像編集に実用的であり、画像編集や合成の実用的応用を可能にした。