[論文レビュー] PiCANet: Learning Pixel-wise Contextual Attention for Saliency Detection

Nian Liu, Junwei Han+1 more|arXiv (Cornell University)|Aug 21, 2017

Visual Attention and Saliency Detection参考文献 11被引用数 51

ひとこと要約

PiCANetはピクセルレベルの文脈的注意を学習し、各ピクセルに対して文脈情報を選択的に重み付けします。U-NetのようなCNNと統合したとき、グローバルおよびローカルの文脈形式を用いて顕著性検出を改善します。

ABSTRACT

Contexts play an important role in the saliency detection task. However, given a context region, not all contextual information is helpful for the final task. In this paper, we propose a novel pixel-wise contextual attention network, i.e., the PiCANet, to learn to selectively attend to informative context locations for each pixel. Specifically, for each pixel, it can generate an attention map in which each attention weight corresponds to the contextual relevance at each context location. An attended contextual feature can then be constructed by selectively aggregating the contextual information. We formulate the proposed PiCANet in both global and local forms to attend to global and local contexts, respectively. Both models are fully differentiable and can be embedded into CNNs for joint training. We also incorporate the proposed models with the U-Net architecture to detect salient objects. Extensive experiments show that the proposed PiCANets can consistently improve saliency detection performance. The global and local PiCANets facilitate learning global contrast and homogeneousness, respectively. As a result, our saliency model can detect salient objects more accurately and uniformly, thus performing favorably against the state-of-the-art methods.

研究の動機と目的

• 顕著性検出のための文脈情報の利用を動機づけ、すべての文脈が等しく有益というわけではないことを認識する。
• 各ピクセルごとに有益な文脈位置に注意を学習するピクセル単位の文脈的注意機構を導入する。
• グローバルおよびローカルな文脈をそれぞれ捉えるためのglobal PiCANetとlocal PiCANetのバリアントを提案する。
• PiCANetをU-NetなどのCNNアーキテクチャに組み込むことにより、エンドツーエンドの訓練を可能にする。
• 最先端の顕著性手法に対して一貫した性能向上を示す。

提案手法

• PiCANetを、すべての文脈位置に対して各ピクセルの注意マップを出力するモジュールとして定義する。
• ピクセルごとの注意重みを用いた重み付き集約によって、注目された文脈特徴を計算する。
• 2つのバリアントを定式化する：グローバル文脈のための global PiCANet とローカル文脈のための local PiCANet。
• モジュールが完全に微分可能で、共同訓練のためにCNNへ組み込み可能であることを保証する。
• PiCANetをU-Netアーキテクチャに組み込み、顕著な物体を検出する。
• 広範な実験を通じて、PiCANetが顕著性検出を改善し、グローバルコントラストと均質性の学習を助けることを示す。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の文脈注意は、有益な文脈位置に選択的に注目することで顕著性検出を改善できるだろうか？
• RQ2 グローバル PiCANet とローカル PiCANet のバリアントは、顕著性性能にどのように寄与するか？
• RQ3 PiCANetをU-Netと統合することで、顕著性精度と顕著性マップの均一性は向上しますか？
• RQ4 PiCANetは標準的なCNNバックボーン内で微分可能かつエンドツーエンド訓練可能か？

主な発見

• PiCANetは各ピクセルにおける文脈的関連性を反映する注意ウェイトを学習する。
• Global PiCANetはグローバルコントラストの学習を促進し、Local PiCANetは顕著性マップの均質性を支援する。
• PiCANetを組み込んだモデルは一貫して顕著性検出性能を向上させる。
• PiCANetをU-Netと統合することで、最先端手法に対して有利な結果を得る。
• グローバル PiCANet および ローカル PiCANet の両方は、エンドツーエンドのCNNフレームワーク内で完全に微分可能かつ訓練可能である。