[論文レビュー] Compact Trilinear Interaction for Visual Question Answering

Tuong Do, Thanh-Toan Do+3 more|arXiv (Cornell University)|Sep 26, 2019

Multimodal Machine Learning Applications参考文献 42被引用数 13

ひとこと要約

本稿では、計算コストを低減するためにPARALINDテンソル分解を用いて、視覚的質疑応答（VQA）における画像、質問、回答表現の高レベルな関連性を統合的に学習するコンパクトな三重線形相互作用（CTI）モデルを提案する。この手法はTDIUC、VQA-2.0、Visual7Wで最先端の性能を達成しており、オブジェクトベースの特徴を用いたVisual7Wでは72.3%の精度を達成するとともに、自由形式VQA推論に適応させるために知識蒸留を導入している。

ABSTRACT

In Visual Question Answering (VQA), answers have a great correlation with question meaning and visual contents. Thus, to selectively utilize image, question and answer information, we propose a novel trilinear interaction model which simultaneously learns high level associations between these three inputs. In addition, to overcome the interaction complexity, we introduce a multimodal tensor-based PARALIND decomposition which efficiently parameterizes trilinear interaction between the three inputs. Moreover, knowledge distillation is first time applied in Free-form Opened-ended VQA. It is not only for reducing the computational cost and required memory but also for transferring knowledge from trilinear interaction model to bilinear interaction model. The extensive experiments on benchmarking datasets TDIUC, VQA-2.0, and Visual7W show that the proposed compact trilinear interaction model achieves state-of-the-art results when using a single model on all three datasets.

研究の動機と目的

• 既存のVQA手法が答えを受動的に分類ターゲットとして扱うのに対し、画像、質問、回答の間の明示的な共同モデリングが欠如している問題に対処すること。
• VQAにおける3モodalの間の完全な三重線形相互作用の高い計算コストとメモリ消費量を克服すること。
• 答えが推論時に利用可能でない自由形式の開かれたVQAにおいて、三重線形相互作用の有効な応用を可能にすること。
• 画像、質問、回答の3つの入力の間の高レベルな関連性を明示的に同時にモデリングすることで、VQA性能を向上させること。

提案手法

• 画像、質問、回答特徴間の相互作用を三重線形形式でモデル化するコンパクトな三重線形相互作用（CTI）レイヤーを提案：$ z^T = (\mathcal{T} \times_1 \text{vec}(V)) \times_2 \text{vec}(Q) \times_3 \text{vec}(A) $、ここで$\mathcal{T}$は学習可能なテンソルである。
• 三重線形相互作用テンソルをより小さな低ランク成分に分解するためのPARALINDテンソル分解を適用し、パラメータ数を約2.2兆個から約3369万個に削減する。
• 三重線形相互作用を効率的に近似するための低ランク行列$W_{z_v}$、$W_{z_q}$、$W_{z_a}$を用いたパラメータ因子化戦略を導入する。
• 画像と質問の領域間の相互作用を動的に重みづけるために、$\mathcal{M} = \sum_{r=1}^R \llbracket \mathcal{G}_r; V^T W_{v_r}, Q^T W_{q_r} \rrbracket $により計算される注目マップ$\mathcal{M}$を用いる。
• 訓練時に答えが必要な三重線形モデルから、推論時に答えが不要な双線形モデルへ知識を転送するための知識蒸留を適用し、自由形式VQAへの展開を可能にする。
• 2段階の訓練パイプラインを採用：まず3つの入力すべてを用いて完全なCTIモデルを訓練し、その後その知識を双線形モデルに蒸留してテストデータの推論に使用する。

実験結果

リサーチクエスチョン

• RQ1 画像、質問、回答表現の明示的な共同モデリングが、受動的な答え分類と比較してVQA性能を向上させられるか？
• RQ2 PARALINDテンソル分解が性能を損なわせることなく、三重線形相互作用の計算コストとメモリ消費量を効果的に低減できるか？
• RQ3 訓練時に答えが必要な三重線形モデルから、推論時に答えが不要な双線形モデルへ知識を効果的に転送できるか？
• RQ4 提案されたコンパクトな三重線形相互作用が、複数のベンチマークVQAデータセットで既存の最先端手法を上回る性能を発揮するか？

主な発見

• 提案されたCTIモデルはTDIUCテストセットで69.3%の精度を達成し、BAN2（67.5%）やSTL（68.2%）といった先行研究を上回った。
• VQA-2.0バリデーションセットでは、CTIモデルがトップ1精度69.3%を達成し、MCB（62.2%）やfPMC（66.0%）を上回った。
• Visual7Wテストセットでは、オブジェクトベースの特徴（ボトムアップ特徴）を用いたCTIモデルが72.3%の精度を達成し、以前の最先端手法STL（68.2%）を4.1ポイントも上回った。
• PARALIND分解により、三重線形相互作用のパラメータ数が約2.2兆個から3369万個に削減され、約65,280の圧縮率を達成した。
• 知識蒸留アプローチにより、三重線形モデルの知識が双線形モデルに効果的に転送され、答えがテスト時に利用不可な自由形式VQAに応用可能になった。
• コンパクトな三重線形相互作用は、BANを一般化し、その双線形注目メカニズムに回答特徴を統合して、3モダリティの間で同時に学習を可能にした。