[論文レビュー] Learning Visual Question Answering by Bootstrapping Hard Attention

Mateusz Malinowski, Carl Doersch+2 more|arXiv (Cornell University)|Aug 1, 2018

Multimodal Machine Learning Applications参考文献 63被引用数 9

ひとこと要約

本稿では、視覚的質問応答（VQA）のための新しいハード注目メカニズムを提案する。このメカニズムは、L2ノルムの大きさに基づいて顕著な視覚的特徴を選択し、選択プロセスにおける勾配誤差逆伝播を必要としないため、効率的かつ正確な推論が可能になる。この手法はCLEVRデータセットにおいて最先端の性能を達成し、ソフト注目モデルを上回るか同等の性能を発揮するとともに、特に非局所的関係ネットワークにおいて計算効率が向上している。

ABSTRACT

Attention mechanisms in biological perception are thought to select subsets of perceptual information for more sophisticated processing which would be prohibitive to perform on all sensory inputs. In computer vision, however, there has been relatively little exploration of hard attention, where some information is selectively ignored, in spite of the success of soft attention, where information is re-weighted and aggregated, but never filtered out. Here, we introduce a new approach for hard attention and find it achieves very competitive performance on a recently-released visual question answering datasets, equalling and in some cases surpassing similar soft attention architectures while entirely ignoring some features. Even though the hard attention mechanism is thought to be non-differentiable, we found that the feature magnitudes correlate with semantic relevance, and provide a useful signal for our mechanism's attentional selection criterion. Because hard attention selects important features of the input information, it can also be more efficient than analogous soft attention mechanisms. This is especially important for recent approaches that use non-local pairwise operations, whereby computational and memory costs are quadratic in the size of the set of features.

研究の動機と目的

• 深層学習におけるハード注目メカニズムの訓練に課題を提起する。ハード注目は非微分可能であるため、誤差逆伝播による最適化が困難である。
• 特徴の大きさ（L2ノルム）が意味的関連性と相関しているかどうかを検証し、ハード注目選択のための単純で微分可能なヒューリスティックを可能にする。
• 計算効率の高いVQAアーキテクチャを開発し、関連性の高い視覚的特徴のみを処理することで、非局所的演算における2次関数的複雑度を低減する。
• 特徴ノルムに基づくハード注目が、複雑な視覚的推論タスクにおいてソフト注目メカニズムと同等またはそれを上回る性能を達成できるかどうかを示す。
• 最終的な回答に寄与する意味的に意味のある画像領域を明確に示す解釈可能な注目マスクを提供する。

提案手法

• ハード注目ネットワーク（HAN）は、処理に適した固定数の視覚的特徴ベクトルを、L2ノルムの値が最大のものから選択する。ノルムを意味的関連性の代理指標として用いる。
• 適応的ハード注目ネットワーク（AdaHAN）は、入力に依存するしきい値に基づき、可変数の高ノルム特徴を選択し、柔軟性を向上させる。
• 本手法は、L2ノルムが大きい特徴ベクトルがしばしば意味的に顕著な画像領域（質問に関連する物体や属性など）に対応することに着目している。
• 標準的なVQAパイプラインにハード注目を統合し、CNNからの画像特徴と質問埋め込みをマルチモーダル融合により統合し、最終的な分類器を適用する。
• 注目処理および関係的推論の前段階で、1×1畳み込みとバッチ正則化を用いて訓練を安定化させ、特徴表現の質を向上させる。
• 非局所的関係ネットワーク（例：関係ネットワーク、RN）に本手法を適用し、処理対象の特徴ペアの数を制限することで、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴のL2ノルムの大きさは、ハード注目メカニズムにおける意味的に関連する視覚的特徴を選択するための信頼性があり、微分可能な信号として妥当か？
• RQ2 特徴ノルムに基づくハード注目メカニズムは、VQAタスクにおいてソフト注目モデルと同等の性能を達成できるか？
• RQ3 このようなハード注目メカニズムは、入力特徴数に比例して2乗的に増加する計算コストを有する非局所的関係ネットワークにおいて、計算コストとメモリコストを低減できるか？
• RQ4 注目メカニズムは解釈可能か？選択された特徴は視覚的に顕著で意味的に意味のある画像領域に対応しているか？
• RQ5 関係ネットワークのような複雑な関係的推論モジュールと組み合わせた場合、ハード注目メカニズムは依然として有効であるか？

主な発見

• HAN+RN++モデルはCLEVRデータセットで全体の正確度98.8％を達成し、ベースラインのSAN*モデル（76.6％）を上回り、最先端のモデルと同等またはそれを上回る性能を示した。
• HAN+RN++モデルは「比較属性」と「属性照会」の質問タイプで99.6％の正確度を達成し、複雑な関係的推論タスクにおける優れた性能を示した。
• HAN+RN+モデルは全体の正確度96.9％を達成し、ソフト注目ベースのSAN*モデル（76.6％）とベースラインのRNモデル（95.5％）を上回った。
• 本手法は、質問に言及された物体や属性など、意味的に関連する画像領域に一貫して特徴が局在する解釈可能な注目マスクを生成した。
• ハード注目メカニズムにより、非局所的関係ネットワークにおける計算コストが、処理対象の特徴ペア数を制限することで低減され、完全なペairwise計算よりも効率的になった。
• 特別なトレーニング手順や注目選択の明示的教師信号を必要とせず、標準的なL2正則化とノルムに基づくヒューリスティックのみで競争力のある性能を達成した。