[論文レビュー] TAB-VCR: Tags and Attributes based Visual Commonsense Reasoning Baselines

Jingxiang Lin, Unnat Jain+1 more|arXiv (Cornell University)|Oct 31, 2019

Multimodal Machine Learning Applications参考文献 109被引用数 4

ひとこと要約

この論文では、物体の属性と強化されたテキスト-画像グランドイングを活用することで性能を向上させる、シンプルでありながら効果的な視覚的共通知識推論モデルであるTAB-VCRを提案する。複雑なアテンション機構を軽量なアーキテクチャに置き換え、属性に配慮した視覚的特徴と追加の物体検出を統合することで、50%のパラメータ数でSOTAの結果を達成し、VCRの質問応答、説明、統合的タスクの各分野で、それぞれ5.3%、4.4%、6.5%の向上を達成した。

ABSTRACT

Reasoning is an important ability that we learn from a very early age. Yet, reasoning is extremely hard for algorithms. Despite impressive recent progress that has been reported on tasks that necessitate reasoning, such as visual question answering and visual dialog, models often exploit biases in datasets. To develop models with better reasoning abilities, recently, the new visual commonsense reasoning (VCR) task has been introduced. Not only do models have to answer questions, but also do they have to provide a reason for the given answer. The proposed baseline achieved compelling results, leveraging a meticulously designed model composed of LSTM modules and attention nets. Here we show that a much simpler model obtained by ablating and pruning the existing intricate baseline can perform better with half the number of trainable parameters. By associating visual features with attribute information and better text to image grounding, we obtain further improvements for our simpler & effective baseline, TAB-VCR. We show that this approach results in a 5.3%, 4.4% and 6.5% absolute improvement over the previous state-of-the-art on question answering, answer justification and holistic VCR.

研究の動機と目的

• 視覚的共通知識推論における複雑でバイアスに起因するモデルの限界を解消するため、よりシンプルで頑健なベースラインを構築すること。
• 視覚的属性の統合と元のVCRアノテーションを超えた物体グランドイングの拡張により、モデルの性能を向上させること。
• 強化された視覚的・言語的グランドイングを備えた最小限のアーキテクチャが、はるかに多くの可学習パラメータを有する複雑なモデルを上回ることを示すこと。
• VCRデータセットにおける欠落した物体検出を特定・是正し、正確な推論を妨げる要因を解消すること。

提案手法

• 事前学習済みの画像CNNを属性予測用に微調整し、標準的な画像分類を上回る物体表現を抽出する視覚的特徴を取得する。
• 品詞タグの付与とウ・パルマー類似度を用いた新しいグランドイング機構を導入し、テキスト内の名詞句を視覚的対象（元のVCRアノテーションに存在しないものも含む）に結びつける。
• CNNを再適用して画像内で検出・ラベル付けし、元々タグが付けられていなかった名詞（例：'cart'、'coats'）を含む物体検出を拡張する。
• 従来のSOTAで使われていたLSTMとアテンションモジュールに代わり、簡素化された順方向ネットワークを採用することで、モデルの複雑さを低減しながらも性能を維持する。
• 画像特徴、予測された属性、拡張された物体タグを統合して推論を行い、答えと根拠を生成する。
• アブレーションスタディにより、属性学習と拡張グランドイングの有効性が確認され、モデルサイズを小さくしても性能向上が得られる。

実験結果

リサーチクエスチョン

• RQ1 属性とグランドイングの改善を加えたシンプルなモデルアーキテクチャが、複雑でアテンションベースのモデルを上回ることができるか？
• RQ2 視覚的属性の統合と、以前にタグが付けられていなかった物体の検出を組み込むと、VCRベンチマークにおける推論性能にどのような影響を与えるか？
• RQ3 VCRデータセットにおけるデータバイアスと不完全な物体アノテーションが、モデル性能に及ぼす制限はどの程度で、どのように是正できるか？
• RQ4 プルーニングとアブレーションによるモデル複雑さの低減は、視覚的推論タスクにおける汎化性と頑健性を向上させるか？

主な発見

• TAB-VCRは、従来のSOTAと比較して、VCRの質問応答サブタスクで5.3%の絶対的向上を達成した。
• 答えの説明サブタスクで4.4%の向上を示し、より優れた推論能力を示している。
• 統合的VCRタスク（全体的な推論性能を評価）で6.5%の絶対的向上を記録した。
• 可学習パラメータ数が3000万個の前回SOTAと比較して1500万個（半分未満）に抑えられても、TAB-VCRは依然として優れた性能を示した。
• アブレーションスタディにより、属性学習と拡張されたグランドイングが性能向上の主な要因であることが確認された。
• より豊富なテキスト的グランドイングを伴う例に対して、モデルの性能が向上しており、画像と言語の整合性が高まることで推論の正確性が向上することが示された。