[論文レビュー] TAB-VCR: Tags and Attributes based VCR Baselines

Jingxiang Lin, Unnat Jain+1 more|arXiv (Cornell University)|Oct 31, 2019

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、視覚的属性の統合とより良いテキスト-画像グランドイングを組み合わせることで、VCRタスクにおける性能を向上させる、簡素化されたがより効果的な視覚的推論モデル、TAB-VCRを提案する。複雑なベースラインモデルの削減と特徴量の整合性向上により、TAB-VCRはパrameter数を50%削減しながらも、質問応答、回答の根拠提示、包括的VCRの各タスクでそれぞれ5.3%、4.4%、6.5%の精度向上を達成し、最先端の結果を実現した。

ABSTRACT

Reasoning is an important ability that we learn from a very early age. Yet, reasoning is extremely hard for algorithms. Despite impressive recent progress that has been reported on tasks that necessitate reasoning, such as visual question answering and visual dialog, models often exploit biases in datasets. To develop models with better reasoning abilities, recently, the new visual commonsense reasoning(VCR) task has been introduced. Not only do models have to answer questions, but also do they have to provide a reason for the given answer. The proposed baseline achieved compelling results, leveraging a meticulously designed model composed of LSTM modules and attention nets. Here we show that a much simpler model obtained by ablating and pruning the existing intricate baseline can perform better with half the number of trainable parameters. By associating visual features with attribute information and better text to image grounding, we obtain further improvements for our simpler & effective baseline, TAB-VCR. We show that this approach results in a 5.3%, 4.4% and 6.5% absolute improvement over the previous state-of-the-art on question answering, answer justification and holistic VCR. Webpage: https://deanplayerljx.github.io/tabvcr/

研究の動機と目的

• 複雑なアーキテクチャに依存しない、よりシンプルで効率的な視覚的共通仮説推論用モデルの開発を目的とする。
• 視覚的属性の統合とテキスト-画像グランドイングの強化により、推論性能の向上を図ること。
• モデルの複雑さを軽減しながらも、VCRベンチマークで既存のベースラインを上回ること。
• 特徴量の整合性と推論の一貫性を強化することで、視覚的推論におけるデータセットバイアスを軽減すること。

提案手法

• 元のVCRベースラインの剪定版から出発し、学習可能なパrameter数を半分に削減する。
• 視覚的特徴量に属性情報と関連付けることで、表現品質を向上させる。
• テキストの質問と視覚的領域との間でより正確なアライメントメカニズムを採用することで、テキスト-画像グランドイングを強化する。
• LSTMとアテンションモジュールを組み合わせた軽量アーキテクチャを採用し、効率性と推論精度の両立を図る。
• 最終的なモデル、TAB-VCRは、回答予測と根拠提示の両方を同時に最適化する形で、VCRデータセット上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 大幅に簡素化されたモデルが、複雑な最先端のベースラインを上回る視覚的推論タスクにおいて性能を発揮できるか？
• RQ2 視覚的属性の統合がVCRにおける推論性能にどのように影響するか？
• RQ3 より良いテキスト-画像グランドイングは、回答の根拠提示と包括的推論にどの程度向上効果をもたらすか？
• RQ4 推論精度を損なわずにモデルの効率性を向上させることは可能か？

主な発見

• TAB-VCRは、質問応答タスクにおいて、以前の最先端手法より5.3%の絶対的向上を達成した。
• 根拠提示の精度が4.4%絶対ポイント向上し、より強固な推論能力を示している。
• 包括的VCRベンチマークでは6.5%の絶対的向上が観察され、全体的な優れた性能が裏付けられた。
• 学習可能なパrameter数が半分であるにもかかわらず、TAB-VCRは元の複雑なベースラインを上回った。
• 視覚的属性の統合と強化されたグランドイングにより、すべての評価指標で一貫した向上が得られた。