[論文レビュー] In Defense of Grid Features for Visual Question Answering

Huaizu Jiang, Ishan Misra+3 more|arXiv (Cornell University)|Jan 10, 2020

Multimodal Machine Learning Applications参考文献 58被引用数 18

ひとこと要約

この論文は、視覚的質問応答（VQA）におけるグリッドベースの畳み込み特徴量の使用を擁護しており、VQA 2.0で最先端の正確性（テスト標準セットで72.71％）を達成すると同時に、領域ベースの特徴量よりも40倍以上高速であることを示している。著者らは、Visual Genomeで適切に事前学習を行い、高解像度入力を用いることで、グリッド特徴量が領域ベースの特徴量と同等またはそれを上回る性能を発揮することを示しており、領域アノテーションに依存しないエンドツーエンドの学習が可能になり、モデル設計が簡素化されることを明らかにしている。

ABSTRACT

Popularized as 'bottom-up' attention, bounding box (or region) based visual features have recently surpassed vanilla grid-based convolutional features as the de facto standard for vision and language tasks like visual question answering (VQA). However, it is not clear whether the advantages of regions (e.g. better localization) are the key reasons for the success of bottom-up attention. In this paper, we revisit grid features for VQA, and find they can work surprisingly well - running more than an order of magnitude faster with the same accuracy (e.g. if pre-trained in a similar fashion). Through extensive experiments, we verify that this observation holds true across different VQA models (reporting a state-of-the-art accuracy on VQA 2.0 test-std, 72.71), datasets, and generalizes well to other tasks like image captioning. As grid features make the model design and training process much simpler, this enables us to train them end-to-end and also use a more flexible network design. We learn VQA models end-to-end, from pixels directly to answers, and show that strong performance is achievable without using any region annotations in pre-training. We hope our findings help further improve the scientific understanding and the practical application of VQA. Code and features will be made available.

研究の動機と目的

• 領域ベースの特徴量がVQAにおいてグリッド特徴量よりも本質的に優れているという仮定に挑戦すること。
• ボトムアップアテンションの成功が、領域局在化の能力に起因するのか、それとも事前学習データのスケールと解像度に起因するのかを調査すること。
• 領域アノテーションに依存せずに、ピクセルから答えまでエンドツーエンドでVQAを学習できるように、グリッド特徴量を用いること。
• グリッド特徴量が、モデル、データセット、画像キャプションなどの他のタスクにわたって良好に一般化されることを示すこと。
• 高価な領域抽出ステップを置き換えることで、モデル設計を簡素化し、推論を高速化すること。

提案手法

• 領域ベースのモデルと同一のVisual Genomeデータセットと高解像度入力を用いて、グリッド特徴量を事前学習することで、公平な比較を確保する。
• 領域特徴量と同一の層（fc6）からグリッド特徴量を抽出し、特徴抽出の整合性を保つ。
• 多スケールの文脈を捉えるために、グリッド特徴量にピラミッドプーリングモジュール（PPM）を適用し、領域アノテーションがなくても性能が向上することを実証する。
• 領域レベルのグランドトゥーストアノテーションが不要な状態で、入力ピクセルから答えまでエンドツーエンドでVQAモデルを学習する。
• 標準的なVQAおよび画像キャプションベンチマーク（VQA 2.0、VizWiz、COCO）を用いて、タスクおよびモデルにわたる一般化性能を評価する。
• 異なるバックボーン（ResNet、ResNeXt）、VQAモデル（Pythia、MCAN）、特徴タイプ（グリッド対領域）を用いて、推論速度と正確性を測定する。

実験結果

リサーチクエスチョン

• RQ1 同じ条件下で事前学習された場合、グリッドベースの特徴量が領域ベースの特徴量と同等またはそれ以上のVQA正確性を達成できるか？
• RQ2 領域特徴量の性能向上は、より優れた局在化能力に起因するのか、それとも事前学習データのスケールと解像度に起因するのか？
• RQ3 領域レベルのアノテーションが一切ない状態でも、グリッド特徴量のみを用いてエンドツーエンドのVQA学習を成功させることができるか？
• RQ4 グリッド特徴量の使用は、異なるアーキテクチャやタスクにおいて推論速度とモデルの柔軟性にどのように影響を与えるか？
• RQ5 グリッド特徴量は、画像キャプションなどの他の視覚言語タスクに対しても良好に一般化されるか？

主な発見

• グリッド特徴量は、VQA 2.0ベンチマークでテスト標準セットで72.71％の最先端の正確性を達成しており、領域ベースのモデルと同等またはそれを上回っている。
• ResNet-50バックボーンを用いた場合、グリッド特徴量に切り替えることで1枚あたりの推論時間が0.89秒から0.02秒にまで低下し、40倍以上高速化されている。
• FPNベースの領域特徴量パイプラインは著しく遅く（1.03秒対0.02秒）、VQA正確性において単純なC4またはグリッドベースのアプローチを上回っていない。
• グリッド特徴量は画像キャプションタスクに対しても良好に一般化され、COCO KarpathyスプリットでBLEU-4スコア88.46、CIDErスコア72.59を達成しており、領域ベースのモデルと同等の性能を示している。
• 領域レベルのアノテーションを一切使用しないエンドツーエンド学習でも、グリッド特徴量を用いることで高い性能が達成されており、明示的な領域モデリングが高精度を達成するために必須ではないことを証明している。
• アブレーションスタディの結果、高性能を達成する鍵となる要因は、Visual Genomeにおける大規模な事前学習と高解像度入力であり、特徴形式（グリッド対領域）ではないことが確認された。