[論文レビュー] Zero-Shot Transfer VQA Dataset

Yuanpeng Li, Yi Yang+2 more|arXiv (Cornell University)|Nov 2, 2018

Advanced Neural Network Applications参考文献 27被引用数 6

ひとこと要約

この論文は、訓練時における1つのモダリティに出現する語がテスト時に別のモダリティで予測されなければならない、ゼロショット転送学習の評価を目的としたゼロショット転送VQA（ZST-VQA）データセットを紹介する。実験の結果、現在の最先端のVQAモデルはこのタスクに失敗し、ゼロショット回答タスクで0%の正確度を示すことが判明した。これは、モデル学習における暗黙のバイアスによって引き起こされる、ゼロショット一般化の重大な欠落を示している。

ABSTRACT

Acquiring a large vocabulary is an important aspect of human intelligence. Onecommon approach for human to populating vocabulary is to learn words duringreading or listening, and then use them in writing or speaking. This ability totransfer from input to output is natural for human, but it is difficult for machines.Human spontaneously performs this knowledge transfer in complicated multimodaltasks, such as Visual Question Answering (VQA). In order to approach human-levelArtificial Intelligence, we hope to equip machines with such ability. Therefore, toaccelerate this research, we propose a newzero-shot transfer VQA(ZST-VQA)dataset by reorganizing the existing VQA v1.0 dataset in the way that duringtraining, some words appear only in one module (i.e. questions) but not in theother (i.e. answers). In this setting, an intelligent model should understand andlearn the concepts from one module (i.e. questions), and at test time, transfer themto the other (i.e. predict the concepts as answers). We conduct evaluation on thisnew dataset using three existing state-of-the-art VQA neural models. Experimentalresults show a significant drop in performance on this dataset, indicating existingmethods do not address the zero-shot transfer problem. Besides, our analysis findsthat this may be caused by the implicit bias learned during training.

研究の動機と目的

• 現在のVQAモデルが質問と回答の間で概念のゼロショット転送を実行できるかどうかを調査すること。
• 入力と出力モダリティ間での語の出現を分離することで、ゼロショット転送能力を孤立させる新しいベンチマークデータセットを構築すること。
• 既存のVQAモデルに内在するゼロショット一般化を妨げる暗黙のバイアスを特定・分析すること。
• 既存の最先端VQAモデルが、ターゲットモダリティにおける未観測語に一般化できるかどうかを評価すること。
• 表面的に入力出力の記憶に依存しているか、真の構成的理解が行われているかを検出する診断ツールを提供すること。

提案手法

• VQA v1.0データセットを再編成し、ターゲット語が訓練時に1つのモダリティにのみ出現するゼロショット回答（ZSA）とゼロショット質問（ZSQ）の2つのタスクを生成する。
• 訓練データのみを用いて質問用と回答用の別々の語彙を構築し、訓練段階でターゲットモダリティにゼロショット語が存在しないようにする。
• 標準のVQAモデル（SAN、HieCoAtt、その他のモデル）を用い、新しいZST-VQAスプリットで標準の訓練および推論プロトコルを適用する。
• 正規化されたスコアヒストограмを用いて、既知の回答よりもゼロショット回答に偏向しているかを検出する。
• 語彙の統合、共有語埋め込み、最終層での共有転置重みを導入し、アーキテクチャの変更がゼロショット性能を向上させるかを検証する。
• 標準モデルと変更済みバージョンを比較するアブレーションスタディを実施し、バイアスとモダリティ分離の役割を特定する。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端VQAモデルは、質問から回答へのゼロショット概念の一般化を実行できるか？
• RQ2 現在のVQAモデルは、回答から質問へのゼロショット概念の一般化を実行できるか？
• RQ3 現在のVQAモデルがゼロショット転送タスクで顕著な性能低下を示す原因は何か？
• RQ4 モデル表現に内在する暗黙のバイアスが、ゼロショット一般化をどの程度妨げているか？
• RQ5 共有埋め込みやバイアスフリーの最終層といったアーキテクチャの変更が、ゼロショット転送性能を向上させられるか？

主な発見

• すべての評価済み最先端VQAモデルにおいて、ゼロショット回答（ZSA）タスクの正確度が0%にとどまり、未観測の回答語の一般化に完全に失敗していることが示された。
• ゼロショット質問（ZSQ）タスクでは、標準テストセットと比較して顕著な性能低下が見られたが、ゼロではないため、回答から質問への転送は部分的ではあるが不十分であることが示された。
• モデル分析から、テスト段階でさえも、ゼロショット回答は既知の回答よりも常に低いpre-softmaxスコアを示す暗黙のバイアスが存在することが判明した。
• この暗黙のバイアスは、通常のテストタスクおよびゼロショットテストタスクの両方で保持されており、モデルの内部多様体が既知クラスを好むように学習されていることが示された。
• 共有語埋め込みやバイアスフリーの最終層といったアーキテクチャの変更を行っても、ZSAの正確度は0 remainedそのままであり、バイアスとモダリティ分離が中心的問題であることが確認された。
• 結果から、現在のVQAモデルは構成的理解ではなく、記憶された入出力パターンに依存していることが示唆され、ゼロショット一般化における根本的なギャップが浮き彫りになった。