[論文レビュー] ShapeWorld - A new test methodology for multimodal language understanding

Alexander Kuhnle, Ann Copestake|arXiv (Cornell University)|Apr 14, 2017

Multimodal Machine Learning Applications参考文献 37被引用数 47

ひとこと要約

ShapeWorldは、深層学習モデルにおけるマルチモーダル言語理解の評価のための制御可能で人工的なデータ生成フレームワークを提供する。本研究は、概念の新規組み合わせを通じた一般化に焦点を当てている。正確な言語的および視覚的制約のもとで合成画像とキャプションを生成することで、モデルの空間的関係や限定詞の理解における深刻な失敗を露呈している。これは、実世界のベンチマークでは良好な性能を示すモデルであっても同様に顕在する。

ABSTRACT

We introduce a novel framework for evaluating multimodal deep learning models with respect to their language understanding and generalization abilities. In this approach, artificial data is automatically generated according to the experimenter's specifications. The content of the data, both during training and evaluation, can be controlled in detail, which enables tasks to be created that require true generalization abilities, in particular the combination of previously introduced concepts in novel ways. We demonstrate the potential of our methodology by evaluating various visual question answering models on four different tasks, and show how our framework gives us detailed insights into their capabilities and limitations. By open-sourcing our framework, we hope to stimulate progress in the field of multimodal language understanding.

研究の動機と目的

• マルチモーダル言語理解モデルにおける真の一般化を評価するための体系的でない方法の欠如に対処すること。
• 訓練データを超えた一般化能力を制御的かつ繰り返し可能な方法で評価できるテストベッドを提供すること。
• 空間的関係や限定詞といった複雑な言語構造の理解における、既存のマルチモーダルモデルのバイアスや制限を暴露すること。
• 体系的で詳細かつ比較可能なマルチモーダルモデルの評価が可能な、設定可能で拡張可能なフレームワークを提供すること。
• bAbIがNLP分野で果たすユニットテスト的役割に類似した、特定の言語的一般化能力に対する補完的アプローチとして、実世界のベンチマークを補完すること。

提案手法

• 形状、色、空間的関係、言語構造を定義する設定可能な記述言語を用いて、人工的データを自動生成する。
• 各データセットのインスタンスは、合成画像と自然言語キャプションから構成され、画像とキャプションの整合性（画像キャプション整合性、ICA）を判断するタスクである。
• 訓練データと評価データを異なる分布から生成することで、ゼロショット一般化を強制し、モデルが既知の概念を新しい構成で組み合わせる能力を要求する。
• 言語的複雑さ（例：限定詞、否定、空間的関係）を制御的に変化させつつ、視覚的および語彙的変動を最小限に抑える。
• 空間的関係、限定詞、否定、複雑な接続詞の4つの異なるデータセットを用いて、モデルの異なる言語的能力を評価する。
• 全体の性能だけでなく、インスタンスタイプごとの性能分析も行い、関係語の誤った処理といった特定の失敗モードを同定する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルモデルは、以前に見た視覚的および言語的概念の新規組み合わせに対して、ゼロショット設定で一般化できるか？
• RQ2 現在のVQAモデルは、マルチモーダル文脈において、空間的関係、限定詞、否定といった複雑な言語構造をどの程度理解しているか？
• RQ3 LSTMオンリー、CNN+LSTM、CNN+GRUなどの異なるモデルアーキテクチャは、実世界のベンチマークと比較して、制御された言語的一般化タスクでどの程度の性能を示すか？
• RQ4 正確な言語的および視覚的制約を課した人工データでテストされた際、マルチモーダルモデルにどのような特定の失敗パターンが現れるか？
• RQ5 人工的データ生成は、固有のバイアスやノイズを内包する実世界のデータセットに比べ、モデルの能力についてより詳細かつ体系的な洞察を提供できるか？

主な発見

• 評価されたすべてのモデル、特にCNN+LSTM:MultおよびCNN+GRU:Multでさえも、空間的関係タスクで一貫して低い性能（最高で60％）を示しており、関係的推論を学習できない根本的失敗を示している。
• HCAモデルは、限定詞データセットで低い性能を示しており、限定詞を完全に学習していないか、近似された数え上げや存在ヒューリスティクスに依存している可能性を示唆している。
• LSTMオンリー、CNNオンリー、CNN+BoW:Multモデルはマルチモーダル理解を学習できず、しばしば常に正解または常に不正解の予測に依存しており、視覚と言語の真正な統合が行われていないことを示している。
• 空間的タスクでの全体的な正確性が低くても、一部のサブセットではそれ以上の確率を超える性能を示しており、特定の状況では限定的な一般化能力が存在することを示している。
• 物体認識自体は問題ではなかった—CNNオンリーモデルは形状・色分類で約98％の正確性を達成しており、失敗の原因は認識ではなくマルチモーダル推論にあると確認された。
• ShapeWorldが可能にした詳細な分析により、実世界のデータセットではバイアスやノイズのため、ほぼ検出不可能だった失敗パターンが明らかになった。