[論文レビュー] Saliency-based Sequential Image Attention with Multiset Prediction

Sean Welleck, Jialin Mao+2 more|arXiv (Cornell University)|Nov 14, 2017

Visual Attention and Saliency Detection参考文献 39被引用数 11

ひとこと要約

本論文では、サリエンシー・マップと独創的な強化学習ベースの訓練プロセスを用いて、マルチセット・マルチラベル画像分類のための逐次的でサリエンシー駆動型の画像注目を可能にする階層的視覚アーキテクチャを提案する。モデルは、隠れた注目（covert）と明示的な注目（overt）のメカニズムを統合し、任意のラベル順序の許容と1ラベルあたり複数のインスタンスの処理を可能にすることで、高い正確性と再現率を達成する。

ABSTRACT

Humans process visual scenes selectively and sequentially using attention. Central to models of human visual attention is the saliency map. We propose a hierarchical visual architecture that operates on a saliency map and uses a novel attention mechanism to sequentially focus on salient regions and take additional glimpses within those regions. The architecture is motivated by human visual attention, and is used for multi-label image classification on a novel multiset task, demonstrating that it achieves high precision and recall while localizing objects with its attention. Unlike conventional multi-label image classification models, the model supports multiset prediction due to a reinforcement-learning based training process that allows for arbitrary label permutation and multiple instances per label.

研究の動機と目的

• 人間の視覚的注目を模倣する深層学習アーキテクチャの開発：低レベル特徴に基づくサリエンシーに基づく視覚的場所に逐次的に注目する。
• 従来のマルチラベル分類モデルの限界、すなわちラベル順序に敏感で、1ラベルあたり複数のインスタンスを処理できないという問題の解決。
• ラベル順序に依存せず、1クラスあたり複数の予測を可能にする、強化学習ベースの訓練プロセスの設計。
• 生物学的視覚的注目モデルにインspiredされたプライオリティマップを介して、ボトムアップのサリエンシー・マップとトップダウンの目的指向的注目を統合。
• 階層的注目メカニズムが、マルチセットタスクにおけるオブジェクトの局所化と高い分類性能を実現する有効性の実証。

提案手法

• モデルは、画像を順方向ネットワークで処理し、低レベル特徴に基づいて視覚的場所の目立つ度合い（ conspicuity ）を符号化するボトムアップのサリエンシー・マップを生成する。
• 階層的注目メカニズムを採用：上位のコントローラーがサリエンシー・マップを用いて目立つ領域を選択し、下位のコントローラーがその領域内でより細かいグリムス（注目）を実行する。
• 隠れた注目メカニズムはガウス型空間フィルタを用い、同時に複数の離れた領域に注目できるため、ノイズの排除と干渉要因の抑制が可能である。
• 明示的な注目メカニズムは、特定の場所に逐次的なグリムスを誘導する。コントローラーは強化学習により最適なグリムスを選択する学習を実行する。
• ラベル順序に依存せず、高サリエンシー領域にグリムスをとるよう促進し、分類性能を向上させるための新しい報酬信号を設計した。
• 報酬を形状づけて、すべてのラベル（1ラベルあたり複数のインスタンスを含む）に対して高い正確性と再現率を達成するように、エンド・トゥ・エンドで強化学習を用いてモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、人間の認知にインspiredされた逐次的でサリエンシー駆動型の視覚的注目を効果的に模倣できるか？
• RQ2 固定されたラベル順序に依存せず、任意のラベル順序の許容と1ラベルあたり複数のインスタンスの処理を可能にするために、ビジョンモデルをどのように訓練できるか？
• RQ3 隠れた注目と明示的な注目の両方のメカニズムを統合することで、オブジェクトの局所化と分類性能はどの程度向上するか？
• RQ4 強化学習ベースの訓練方式は、標準的なクロスエントロピー訓練に比べて、マルチセット画像分類タスクで優れているか？
• RQ5 階層的注目メカニズム（レイヤーごとのグリムス選択）は、特徴抽出と局所化精度をどの程度向上させるか？

主な発見

• 提案されたHSAL-RLモデルは、セットベースおよびマルチセットベースの画像分類タスクの両方で、高い正確性、再現率、マクロ-F1スコアを達成し、すべての指標で優れた性能を示した。
• クロスエントロピーで訓練した場合、性能が著しく低下した。これは、強化学習ベースの訓練がマルチセット不変性と頑健性を実現するために不可欠であることを確認した。
• 訓練の過程で、コントローラーのグリムス回数が25から126.5に増加した。これは、サリエンシーに従った注目を効果的に学習したことを示しており、報酬なしのベースラインでは改善が見られなかった。
• 階層的注目メカニズムは、まず目立つ領域に注目し、その後複数回のグリムスで焦点を絞ることで、オブジェクトを効果的に局所化した。推論例の可視化から明らかになった。
• モデルは、同じラベルの複数インスタンス（例：'33'、'449'）を正しく予測でき、ラベル順序の入れ替え（例：'689' 対 '986'）も処理でき、マルチセット予測の能力を実証した。
• サリエンシー・マップの品質や活性化の解像度に限界はあったが、モジュラー設計により、より高品質なサリエンシー・モデルや高解像度特徴への統合が可能であり、性能向上が見込まれる。