[論文レビュー] Learning Rich Image Region Representation for Visual Question Answering

Bei Liu, Zhicheng Huang+3 more|arXiv (Cornell University)|Oct 29, 2019

Multimodal Machine Learning Applications参考文献 14被引用数 8

ひとこと要約

本論文は、視覚的および言語的特徴表現を強化することで性能を向上させるVQAフレームワークを提案する。物体検出にResNeXt-152バックボーンとFPN、マルチスケール学習を用い、質問の文脈表現にGloVeの代わりにBERTを採用することで、VQA 2.0 test-stdスプリットで74.89%の精度を達成し、VQA Challenge 2019で2位を獲得した。

ABSTRACT

We propose to boost VQA by leveraging more powerful feature extractors by improving the representation ability of both visual and text features and the ensemble of models. For visual feature, some detection techniques are used to improve the detector. For text feature, we adopt BERT as the language model and find that it can significantly improve VQA performance. Our solution won the second place in the VQA Challenge 2019.

研究の動機と目的

• 視覚的および言語的特徴の表現能力を向上させることで、視覚的質問応答（VQA）の性能を向上させること。
• 標準的な物体検出器と浅いテキスト符号化器が、VQAに適した豊富で文脈に依存した表現を捉えることの限界を解消すること。
• 特に深層バックボーンと事前学習済み言語モデルといった高度な特徴抽出器がVQA精度に与える影響を調査すること。
• 補助的監視（属性ヘッド）とマルチスケール学習などの訓練技術を活用して、視覚的特徴抽出を最適化すること。
• VQA 2.0ベンチマーク上でモデルアンサンブルとアブレーションスタディを通じて、最先端の性能を実証すること。

提案手法

• ImageNetで事前学習済みの重みを初期値として用い、Visual Genome 1.2上でResNeXt-152とFPNバックボーンを搭載したFaster R-CNN検出器を学習する。
• 推論時には削除されるが、訓練時に属性予測ヘッドを組み込んで視覚的特徴表現を強化する。
• 検出器の訓練中にマルチスケール学習を適用し、検出のロバスト性と一般化性能を向上させる。
• 質問の文脈表現を得るために、GloVeの代わりにBERT-baseを言語モデルとして採用する。
• BERT-baseの最終層の隠れ状態を用いてトークンレベルの質問特徴を抽出し、BANモデルと一致する入力次元に調整する。
• BERTモジュールの初期微調整学習率を5e-5、20エポックのスケジュールでBANモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 ResNeXt-152にFPNとマルチスケール学習を組み合わせた強力な視覚的特徴抽出器は、VQA性能を顕著に向上させることができるか？
• RQ2 GloVeをBERT-baseに置き換えることで、VQA 2.0ベンチマークにおけるVQA精度はどの程度向上するか？
• RQ3 視覚的特徴抽出時に属性監視を用いることは、表現品質の向上にどの程度効果的か？
• RQ4 BANのような強力なVQAモデルに統合された、改善された視覚的および言語的特徴表現の組み合わせ効果は何か？
• RQ5 モデルアンサンブルは、強化された特徴表現の利点をさらに拡大させ、最先端の結果を達成できるか？

主な発見

• ResNeXt-152にFPNとマルチスケール学習を組み合わせたアプローチにより、test-devスプリットで71.68%の精度に向上し、ResNet-101ベースラインと比べて顕著な向上を示した。
• 検出器訓練時に導入した属性ヘッドは、性能を4%以上向上させ、視覚的特徴品質の向上に有効であることを示した。
• GloVeからBERT-baseに置き換えることで、すべての設定で1ポイント以上の精度向上が確認され、最良の単一モデルでtest-devで72.79%の精度を達成した。
• BERTベースの特徴を用いた20モデルのアンサンブルは、test-devで74.71%、test-stdで74.89%の精度を達成し、VQA Challenge 2019で2位を獲得した。
• アブレーションスタディにより、BERT、FPN、マルチスケール学習、属性ヘッドの各コンポonentが最終的な性能向上に段階的に寄与していることが確認された。