[論文レビュー] Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection

Kaihua Zhang, Tengpeng Li+4 more|arXiv (Cornell University)|Mar 13, 2020

Visual Attention and Saliency Detection参考文献 71被引用数 8

ひとこと要約

本稿では、共通の明著なオブジェクト検出のための、アテンションを用いたグラフクラスタリングを備えたエンドツーエンドの適応的グラフ畳み込みネットワーク、GCAGCを提案する。本手法は、適応的グラフ学習を用いて長距離の画像内および画像間の依存関係をモデル化し、教師なしのアテンションベースのクラスタリングを用いて予測を精緻化することで、iCoseg、Cosal2015、COCO-SEGで最先端の性能を達成し、Fスコアはそれぞれ0.8428および0.7092を記録した。

ABSTRACT

Co-saliency detection aims to discover the common and salient foregrounds from a group of relevant images. For this task, we present a novel adaptive graph convolutional network with attention graph clustering (GCAGC). Three major contributions have been made, and are experimentally shown to have substantial practical merits. First, we propose a graph convolutional network design to extract information cues to characterize the intra- and interimage correspondence. Second, we develop an attention graph clustering algorithm to discriminate the common objects from all the salient foreground objects in an unsupervised fashion. Third, we present a unified framework with encoder-decoder structure to jointly train and optimize the graph convolutional network, attention graph cluster, and co-saliency detection decoder in an end-to-end manner. We evaluate our proposed GCAGC method on three cosaliency detection benchmark datasets (iCoseg, Cosal2015 and COCO-SEG). Our GCAGC method obtains significant improvements over the state-of-the-arts on most of them.

研究の動機と目的

• その意味的カテゴリに関する事前知識がなくとも、画像群における共通の明著なオブジェクトを検出する課題に対処すること。
• 共通明著性検出において、長距離および画像間の依存関係をモデル化する点でCNNの限界を克服すること。
• 共同最適化フレームワーク内で、共通の明著なオブジェクトを他の明著な前景から区別する教師なし手法を開発すること。
• グラフ学習、クラスタリング、検出を統合したエンドツーエンドで学習可能なフレームワークを設計し、性能を向上させること。

提案手法

• 画像群からマルチスケール特徴を抽出し、密な特徴ノードグラフを構築するためのCNNエンコーダを採用する。
• 任意の2つの画像位置間の直接的な長距離相互作用を計算する適応的グラフ畳み込みネットワーク（AGCN）を設計し、画像内および画像間の対応関係を捉える。
• 教師なしの方法で共通明著オブジェクトと他の明著領域を区別するための共注意力マップを生成するアテンショングラフクラスタリングモジュール（AGCM）を導入する。
• 最終的な共通明著性マップを生成するためのCNNデコーダを用い、すべてのモジュールをエンドツーエンドのエンコーダデコーダフレームワーク内で共同最適化する。
• 固定グラフ設計を避けるために、GCAGCの共通明著性検出タスクに適応したグラフ構造を学習するための適応的グラフ学習を実装する。
• AGCMから得られる共注意力マップを活用し、特徴の精緻化を促進し、空間的一致性の向上とノイズ抑制を実現する。

実験結果

リサーチクエスチョン

• RQ1 適応的グラフ畳み込みネットワークは、共通明著性検出において長距離および画像間の依存関係を効果的にモデル化できるか？
• RQ2 教師なしのアテンションベースのグラフクラスタリングは、共通明著オブジェクトと他の明著領域の区別を向上させられるか？
• RQ3 グラフ学習、クラスタリング、検出のエンドツーエンドで共同最適化することで、段階的または別々の学習に比べて優れた性能が得られるか？
• RQ4 複雑な背景や複数の干渉オブジェクトを伴う状況下でも、本手法は良好な性能を発揮するか？

主な発見

• Cosal2015ベンチマークでは、GCAGCがFスコア0.8428を達成し、2番目に優れた手法（CSMG）を3.31%、RCGSを2.78%上回った。
• COCO-SEGでは、GCAGCがFスコア0.7092を記録し、RCGS（0.6814）を2.78%、CSMGを3.31%上回った。
• アブレーションスタディの結果、AGCNを削除するとCosal2015でのFβが2.72%低下し、長距離依存関係を捉える上でその重要性が示された。
• AGCMを削除するとiCosegでのFβが4.09%低下し、共通明著領域の精緻化においてその有効性が確認された。
• AGCNにおける適応的グラフ学習戦略は、固定グラフ設計よりも性能を向上させ、無効化した場合に平均適合率（AP）が顕著に2.22%低下した。
• 定性的な結果から、GCAGCは複雑なごみや干渉に対しても、より空間的一致性の高い共通明著性マップを生成し、背景ノイズを低減していることが示された。