[論文レビュー] SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation

Haiyang Huang, Zhi Chen+1 more|arXiv (Cornell University)|Apr 22, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

SegDiscover は、自己教師付き特徴学習とニューラルネットワークの最適化を活用して、人間によるアノテーションなしに複雑なシーンにおける一貫性のある複数概念セグメントを発見する、教師なしのフレームワークを提案する。視覚的コンセプト発見のタスクを教師なしのセマンティックセグメンテーションに再定式化することで、Cityscapes および COCO-Stuff で最先端の性能を達成し、異なる事前学習済みエンコーダーを用いた解釈可能なコンセプトベースの説明を提供する。

ABSTRACT

Visual concept discovery has long been deemed important to improve interpretability of neural networks, because a bank of semantically meaningful concepts would provide us with a starting point for building machine learning models that exhibit intelligible reasoning process. Previous methods have disadvantages: either they rely on labelled support sets that incorporate human biases for objects that are "useful," or they fail to identify multiple concepts that occur within a single image. We reframe the concept discovery task as an unsupervised semantic segmentation problem, and present SegDiscover, a novel framework that discovers semantically meaningful visual concepts from imagery datasets with complex scenes without supervision. Our method contains three important pieces: generating concept primitives from raw images, discovering concepts by clustering in the latent space of a self-supervised pretrained encoder, and concept refinement via neural network smoothing. Experimental results provide evidence that our method can discover multiple concepts within a single image and outperforms state-of-the-art unsupervised methods on complex datasets such as Cityscapes and COCO-Stuff. Our method can be further used as a neural network explanation tool by comparing results obtained by different encoders.

研究の動機と目的

• 人間によるアノテーションなしに、複雑な自然画像内に意味的に意味のある視覚的コンセプトを発見する課題に対処すること。
• ラベル付きサポートセットに依存する既存手法のバイアスや、顕著なフォアグラウンドオブジェクトに限定するアプローチの限界を克服すること。
• 1枚の画像内に背景や文脈的要素を含む、複数の一貫性のあるコンセプトを同時に発見できること。
• ニューラルネットワークの活性化からコンセプトベースの説明を生成することで、解釈可能な機械学習の基盤を提供すること。
• 自己教師付きエンコーダーがアノテーションバイアスが少ないため、教師ありエンコーダーよりも優れたコンセプト発見を可能にすること

提案手法

• 生画像からパッチまたはスーパーセルレベルの領域を生成するため、教師なし画像セグメンテーションを適用してコンセプトプリミティブを生成する。
• 自己教師付き事前学習済み畳み込みエンコーダーの潜在空間において、これらのプリミティブをクラスタリングすることで視覚的コンセプトを発見する。
• クラスターラベルを画像に戻してマッピングし、偽セグメンテーションラベルを予測するように学習するニューラルネットワークのトレーニングプロセスにより、発見されたコンセプトを精錬する。
• 自己教師付きエンコーダー（MoCo、SwAV、DeepCluster-V2）と教師あり ImageNet エンコーダーを用い、コンセプト発見の性能と解釈可能性を比較する。
• 潜在空間のクラスタリング段階における過学習を軽減し、セグメンテーション品質を向上させるために、K=100 のオーバークラスタリングを適用する。
• Cityscapes および COCO-Stuff における mIoU、wIoU、pAcc を用いた定量的評価に加え、異なるエンコーダーにおけるコンセプトマップの定性的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 複雑で現実的なシーンにおいて、人間によるアノテーションなしに視覚的コンセプトを発見できるか？
• RQ2 フレームワークは、背景や文脈的要素を含め、1枚の画像内で複数の明確に区別できるコンセプトを同時に特定できるか？
• RQ3 事前学習済みエンコーダーの選択（自己教師付き vs 教師あり）が、発見された視覚的コンセプトの品質と解釈可能性に与える影響は何か？
• RQ4 発見されたコンセプトは、コンセプトベースのサリエンシーマップを通じてニューラルネットワークの挙動を説明する基盤として機能できるか？
• RQ5 精錬段階でグローバルな文脈的情報を組み込むことで、発見されたコンセプトの一貫性と正確性が向上するか？

主な発見

• SegDiscover は、SwAV および DeepCluster-V2 エンコーダーを用いることで、Cityscapes および COCO-Stuff で教師なしセマンティックセグメンテーションの最先端性能を達成し、mIoU はそれぞれ 13.62 および 14.34 を記録した。
• 特に DeepCluster-V2 を用いた自己教師付きエンコーダーは、教師あり ImageNet クラスファイアーを用いるよりも優れた性能を示し、pAcc で 4 ポints 以上の向上を達成した。
• 本手法は、壁、天井、遠くの植物など、顕著でない背景要因を含む、1枚の画像内に複数の一貫性のある視覚的コンセプトを効果的に発見できた。
• DeepCluster-V2 を用いた SegDiscover は、COCO-Stuff において現在の最先端手法（PiCIE）を上回り、より優れた一般化性能とコンセプトの一貫性を示した。
• 定性的な分析から、異なるエンコーダーは異なるコンセプトマップを生成することが判明した — 例えば MoCo は小さなセグメントを生成し、SwAV は建物の一部を誤って 'ground' と分類することがある — これはエンコーダー固有のインダクティブバイアスを示している。
• このフレームワークにより、ニューラルネットワークの説明がコンセプトベースで可能になった：異なるエンコーダーは異なる注目領域を強調しており、学習された表現の構造的差異を明らかにした。