[論文レビュー] Group-wise Deep Co-saliency Detection

Lina Wei, Shanshan Zhao+3 more|arXiv (Cornell University)|Jul 24, 2017

Visual Attention and Saliency Detection参考文献 18被引用数 5

ひとこと要約

本論文は、グループ入力およびグループ出力を備えた完全畳み込みネットワーク（FCN）を用いて、統合的かつエンドツーエンドのグループ単位の深層共同サリエンシー検出フレームワークを提案する。協調学習方式により、個々の画像特徴とグループ単位の相互作用特徴を同時に学習することで、ベンチマークデータセット上で最先端の性能を達成し、画像間の一貫性モデリングを強化することで、サリエンシー検出の精度と耐障害性が顕著に向上した。

ABSTRACT

In this paper, we propose an end-to-end group-wise deep co-saliency detection approach to address the co-salient object discovery problem based on the fully convolutional network (FCN) with group input and group output. The proposed approach captures the group-wise interaction information for group images by learning a semantics-aware image representation based on a convolutional neural network, which adaptively learns the group-wise features for co-saliency detection. Furthermore, the proposed approach discovers the collaborative and interactive relationships between group-wise feature representation and single-image individual feature representation, and model this in a collaborative learning framework. Finally, we set up a unified end-to-end deep learning scheme to jointly optimize the process of group-wise feature representation learning and the collaborative learning, leading to more reliable and robust co-saliency detection results. Experimental results demonstrate the effectiveness of our approach in comparison with the state-of-the-art approaches.

研究の動機と目的

• 個々の画像特徴とグループ単位の相互作用をモデル化することで、共同サリエンシー物体検出の課題に取り組む。
• エンドツーエンドの方法で、グループ単位の特徴表現と協調学習を統合最適化することで、検出の信頼性を向上させる。
• 画像グループ間で共有される（共通の）特徴と、個々の特徴（固有の）特徴を両方とも捉える。
• 画像内および画像間のサリエンシー検出に分離された後処理や別々のパイプラインに依存することを排除する。
• 従来の手法が苦手とする複雑でごみだらけのシーンにおいて、優れた性能を達成する。

提案手法

• 複数の画像を同時に処理できる、グループ入力およびグループ出力を備えた完全畳み込みネットワーク（FCN）を用いる。
• 共有バックボーンを用いて、各画像から個別に意味特徴を抽出するとともに、グループ全体としての特徴も抽出する。
• 連結されたグループ特徴を処理するグループ・サリエンシー特徴抽出ブロックにより、画像間の一貫性を捉える。
• 畳み込み層とデコンボリューション層を用いて、個々の画像特徴とグループレベル特徴を連結し、密度の高いサリエンシー地図を回復する。
• 単一画像表現とグループ単位の表現の間の相互作用をモデル化するための協調学習フレームワークを設計する。
• ネットワーク全体をエンドツーエンドで訓練し、特徴学習とサリエンシー予測の協調的強化を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 個々の特徴とグループ単位の特徴を統合的に学習することで、共同サリエンシー検出の性能が向上するか？
• RQ2 画像間の相互作用をモデル化することで、共通のサリエントな物体の検出がどのように向上するか？
• RQ3 エンドツーエンドで統合されたネットワークアーキテクチャは、画像内および画像間のサリエンシーを別々または逐次処理する手法を上回るか？
• RQ4 高視覚的変動を伴う複雑でごみだらけのシーンにおいて、提案手法の有効性はいかがなものか？
• RQ5 共通でない物体（例：リンゴのグループにおける木）を抑圧しながら、共有サリエント領域を強化できるか？

主な発見

• iCosegデータセットでは、平均Fスコア0.6983、AUC 0.9497、MAE 0.1018を達成し、すべてのベースラインを上回った。
• MSRCデータセットでは、平均Fスコア0.5952、AUC 0.6997、MAE 0.2238を達成し、強力な一般化性能を示した。
• 挑戦的なCos2015データセットでは、すべての手法の中で最高のmF（0.6084）、AUC（0.8954）、最小のMAE（0.1434）を達成した。
• アブレーションスタディの結果、グループ単位のモデルは単一画像モデルを5.0%のFスコア向上（0.6340 対 0.6039）で上回った。
• MSRCでは2番目のAPスコア（0.687）を達成し、後処理なしでエンドツーエンドのアーキテクチャでありながら、CoDWと同等の性能を示した。
• 可視化結果から、グループ単位のアプローチが共通でない物体（例：リンゴのグループにおける木）をより効果的に抑制し、共有サリエント領域を強化していることが確認された。