[論文レビュー] Semantic Aware Attention Based Deep Object Co-segmentation

Hong Chen, Yifei Huang+1 more|arXiv (Cornell University)|Oct 16, 2018

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

本論文は、複数の画像にわたる意味的に関連する特徴チャネルを効果的に強調するために、ボトルネック層に学習可能なアテンションメカニズムを用いた、意味的感度を持つオブジェクト共同セグメンテーションのための新規なアテンションベースの深層学習モデルを提案する。ペairwise相関をグローバルアテンションに置き換えることで、線形時間計算量を達成し、最先端の性能を発揮する。これにより、効率的な複数画像共同セグメンテーションが可能となり、学習データに含まれない未観測オブジェクトに対しても一般化可能である。

ABSTRACT

Object co-segmentation is the task of segmenting the same objects from multiple images. In this paper, we propose the Attention Based Object Co-Segmentation for object co-segmentation that utilize a novel attention mechanism in the bottleneck layer of deep neural network for the selection of semantically related features. Furthermore, we take the benefit of attention learner and propose an algorithm to segment multi-input images in linear time complexity. Experiment results demonstrate that our model achieves state of the art performance on multiple datasets, with a significant reduction of computational time.

研究の動機と目的

• 既存の共同セグメンテーション手法が入力画像数に比例して二次的に増大するという制限を解消すること。
• ペairwise特徴相関に依存せずに、複数画像の効率的かつスケーラブルな共同セグメンテーションを可能にすること。
• 入力間で同じ意味的クラスに関連する特徴チャネルを動的に強調することで、セグメンテーション精度を向上させること。
• 学習データに存在しない未観測オブジェクトカテゴリに対しても一般化できること、事前学習済み特徴とアテンションメカニズムを活用すること。

提案手法

• 複数の入力画像から深層特徴を抽出するために、VGG16ベースのエンコーダーを用いる。
• ボトルネック層に意味的アテンションラーナーを導入し、同じ意味的クラスによって活性化される特徴チャネルを動的に強調する。
• 画像間の意味的整合性に基づいて特徴選択をガイドするため、3つのアテンションメカニズム（グローバル平均、グローバル最小、グループ平均）を提案する。
• アテンションメカニズムは全結合層と平均プーリング層を介して実装され、ペアワイズ相関の二次的時間計算量ではなく、線形時間推論を可能にする。
• デコーダーヘッドにより、アテンション処理済み特徴から最終的なセグメンテーションマスクを再構築する。
• グローバル平均プーリング後に空間アテンションを追加し、空間的詳細を失うのを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 ボトルネック層に学習可能なアテンションメカニズムを導入することで、複数の画像にわたる意味的に整合性のある特徴を効果的に特定・強調できるか？
• RQ2 ペアワイズ相関をグローバルアテンションに置き換えることで、精度を損なわず線形時間での共同セグメンテーションが可能になるか？
• RQ3 学習中に観測されなかったオブジェクトカテゴリに対してもモデルは一般化可能か？
• RQ4 アテンションメカニズムは、外見や背景の変化に対してどのように耐性を示すか？

主な発見

• 提案手法は、MSRC、Internet、iCosegデータセットで最先端の性能を達成し、iCosegの未学習オブジェクトで87.1のF1スコアを記録した。
• ペアワイズ相関を回避することで、計算複雑度を二次的から線形時間へ削減し、複数画像のグループ共同セグメンテーションを効率的に行えるようになった。
• iCosegデータセットでは、即時グループ共同セグメンテーション手法がペアワイズ手法（CA）を上回り、未学習オブジェクトで87.1 vs. 84.2のF1スコアを達成した。
• 可視化により、チャネルワイドアテンションがクラス固有であり、分離可能であることが確認された。異なるオブジェクトクラスに対して明確に異なるアテンションパターンが観察された。
• 空間アテンションマップは、グローバル平均プーリング後に失われた局所的意味的詳細を効果的に回復した。
• モデルは背景や外見の変化に対して高い耐性を示し、多様な画像間で効果的にオブジェクトを共同セグメンテーションした。