[論文レビュー] Learning what and where to attend

Drew Linsley, Dan Shiebler+2 more|arXiv (Cornell University)|May 22, 2018

Visual Attention and Saliency Detection被引用数 16

ひとこと要約

本稿では、ゲーム化されたオンライン実験を通じて収集された人間由来の注目マップの大规模なデータセット、ClickMeを紹介する。このデータセットは、深層畳み込みネットワーク（DCN）の訓練におけるより強力な監視信号を提供することを目的としている。ClickMeデータを用いて新規のグローバル・ローカル注目（GALA）モジュールを共同訓練することで、標準的またはサリエンシー監視モデルと比較して、分類精度が著しく向上し、人間の認識戦略に一致する解釈可能な視覚特徴を生成している。

ABSTRACT

Most recent gains in visual recognition have originated from the inclusion of attention mechanisms in deep convolutional networks (DCNs). Because these networks are optimized for object recognition, they learn where to attend using only a weak form of supervision derived from image class labels. Here, we demonstrate the benefit of using stronger supervisory signals by teaching DCNs to attend to image regions that humans deem important for object recognition. We first describe a large-scale online experiment (ClickMe) used to supplement ImageNet with nearly half a million human-derived "top-down" attention maps. Using human psychophysics, we confirm that the identified top-down features from ClickMe are more diagnostic than "bottom-up" saliency features for rapid image categorization. As a proof of concept, we extend a state-of-the-art attention network and demonstrate that adding ClickMe supervision significantly improves its accuracy and yields visual features that are more interpretable and more similar to those used by human observers.

研究の動機と目的

• 視覚認識のための深層学習における弱い監視の限界を、明示的な人間の注目信号を組み込むことで解決すること。
• ImageNetスケールで高品質な人間由来の注目マップを収集するスケーラブルな手法を開発すること。
• 人間の視覚戦略に一致させることで、深層ネットワークにおける注目メカニズムの解釈可能性とパフォーマンスを向上させること。
• 人間による監視付き注目が、DCNにおいてより人間らしいかつ効果的な視覚表現をもたらすかどうかを調査すること。

提案手法

• ゲーム化されたオンラインプラットフォーム（ClickMe）を用いて、ImageNet画像の診断的領域を特定するための、ほぼ50万件にのぼる人間による注目マップを収集した。
• ClickMeデータセットを補助的監視信号として用い、主な画像分類タスクと併せて、グローバル・ローカル注目（GALA）モジュールを共同訓練した。
• GALAモジュールは空間的およびチャネルワイドの注目を組み合わせ、人間が特定した診断的領域に基づいて特徴マップを調整する。
• この手法は、空間的位置と特徴チャネルの両方を同時に注目する二重パス構造を備えた、squeeze-and-excitation（SE）モジュールの拡張版である。
• クリックマップの診断的特徴が、ボトムアップのサリエンシー・マップよりも迅速な分類に有効であることを検証するため、ランダム化テストを実施した。
• モデルのパフォーマンスは、ImageNetおよびCOCOでトップ1/トップ5の精度と、正解セグメンテーションマスクとの交差率（IOU）を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 人間由来の注目マップは、分類ラベルのみに依存する場合と比較して、深層畳み込みネットワークの訓練におけるより強力な監視信号として機能するか？
• RQ2 人間の注目マップを共同訓練に組み込むことで、DCNにおけるより解釈可能で人間と一致する視覚特徴が得られるか？
• RQ3 ClickMeによる監視付き注目マップは、ボトムアップのサリエンシーと比較して、迅速な画像分類をどの程度支援するか？
• RQ4 人間の注目を組み込むことで、最先端の注目モジュールにおける分類精度と表現品質はどの程度向上するか？

主な発見

• ClickMeで監視されたモデルは、約30万件のサンプルに制限されたデータセットで学習した場合、標準のResNet-50やSE-ResNet-50と比較してトップ5誤り率を約25%削減した。
• ClickMeの注目マップに従ってマスクされた画像の6%のピクセルのみが可視の場合、参加者は画像分類で限界精度に到達したが、ボトムアップのサリエンシー・マップでは同様のパフォーマンスを得るためには画像全体が必要であった。
• ClickMeで監視されたGALA-ResNet-50モデルの注目マップは、COCOインスタンスセグメンテーションマスクと0.26のIOUを示し、非ClickMeバージョンの0.03（p < 0.001）と比べて顕著に高い値を示した。
• ClickMeデータセットは、迅速な分類において優れた診断的特徴を示しており、人間が特定した特徴がボトムアップのサリエンシー特徴よりも情報量が多いことを確認した。
• ClickMeで監視されたGALAモジュールは、定性的および定量的に人間の観察者が使用する特徴と類似した視覚特徴を生成した。