[論文レビュー] e-SNLI-VE: Corrected Visual-Textual Entailment with Natural Language Explanations

Virginie Do, Oana-Maria Camburu+2 more|arXiv (Cornell University)|Apr 7, 2020

Multimodal Machine Learning Applications参考文献 15被引用数 25

ひとこと要約

本稿では、SNLI-VEのニュートラルクラスのラベルを再修正したSNLI-VE-2.0と、人間が作成した自然言語の説明を追加した拡張版e-SNLI-VEを紹介する。訓練時に説明を学び、推論時に説明を生成するモデルを提案し、ラベル予測で90.55％のバランス精度を達成するとともに、説明の関連性が向上した。これは、説明の質と分類精度の間でトレードオフが生じることを示している。

ABSTRACT

The recently proposed SNLI-VE corpus for recognising visual-textual entailment is a large, real-world dataset for fine-grained multimodal reasoning. However, the automatic way in which SNLI-VE has been assembled (via combining parts of two related datasets) gives rise to a large number of errors in the labels of this corpus. In this paper, we first present a data collection effort to correct the class with the highest error rate in SNLI-VE. Secondly, we re-evaluate an existing model on the corrected corpus, which we call SNLI-VE-2.0, and provide a quantitative comparison with its performance on the non-corrected corpus. Thirdly, we introduce e-SNLI-VE, which appends human-written natural language explanations to SNLI-VE-2.0. Finally, we train models that learn from these explanations at training time, and output such explanations at testing time.

研究の動機と目的

• SNLI-VEデータセットのニュートラルクラスにおけるラベル誤り、特にVuらが推定した約31％の誤り率を是正すること。
• 修正済みSNLI-VE-2.0データセット上で既存のVTEモデルを再評価し、更新された性能ベンチマークを提供すること。
• SNLI-VE-2.0に人間が作成した自然言語の説明を追加し、e-SNLI-VEを構築することで、説明可能なマルチモodal推論を支援すること。
• 訓練時に説明を学び、テスト時に説明を生成するモデルを訓練し、視覚的・言語的帰属推論における説明可能なAIを前進させること。

提案手法

• 品質管理措置を講じて、アマゾンのMechanical Turkを用いてSNLI-VEの検証およびテストセットにおけるニュートラルペアのラベルを再収集した。これには、1インスタンスあたり3回のアノテーションと信頼できる例の使用が含まれる。
• BUTDモデルをSNLI-VE-2.0上で再評価し、修正済みデータ上で信頼性が向上したことを示した。
• e-SNLIの説明をSNLI-VE-2.0に追加することでe-SNLI-VEを構築し、ニュートラルペアのみを再アノテーションして一貫性を維持した。
• 2つのモデルアーキテクチャを設計した：ExplToLabel-VEは説明からラベルを予測するもので、EtP-BUTD-VEはまず説明を生成してからラベルを予測するものである。
• 分類のためのクロスエントロピー損失と説明生成のための言語モデル損失を用いて、エンドツーエンドでモデルを訓練した。モデル選択には検証時のパープレキシティを用いた。
• バランス精度と手動評価による説明関連性を用いてモデル性能を評価した。ラベル精度と説明品質の間でトレードオフが観察された。

実験結果

リサーチクエスチョン

• RQ1 SNLI-VEのニュートラルクラスにおける誤り率はどの程度大きく、人間によるアノテーションによる是正で低減可能か？
• RQ2 ニュートラルクラスの是正が、既存のVTEモデルの性能にどのような影響を与えるか？
• RQ3 自然言語の説明は、視覚的・言語的帰属推論モデルの解釈可能性を向上させられるか？
• RQ4 説明を生成するモデルを訓練する際、ラベル予測精度と説明品質の間にトレードオフは生じるか？
• RQ5 予測の前に説明を生成するモデルアーキテクチャと、説明を分類にのみ使用するモデルとを比較すると、どのような差が生じるか？

主な発見

• 修正済みSNLI-VE-2.0データセットにより、ニュートラルクラスの誤り率は約31％から顕著に低減され、手動による再アノテーションの必要性が裏付けられた。
• SNLI-VE-2.0上での再評価により、BUTDモデルは修正済みテストセットで72.52％のバランス精度を達成した。これは、修正済みデータ上で信頼性が向上したことを示している。
• e-SNLI-VE上で学習したExplToLabel-VEモデルは、テストセットで90.55％のバランス精度を達成し、ラベル予測性能が優れていることを示した。
• パープレキシティ最適化で最適化したEtP-BUTD-VEモデルは、手動評価で35％の説明関連性を達成した。これは、ラベル精度が3％低下したものの、説明品質が向上したことを示している。
• トレードオフが観察された：パープレキシティに基づく選択により説明品質を優先したモデルは、説明関連性が高く、ラベル精度はわずかに低くなった（69.40％ vs. 72.52％）。
• 定性的分析から、モデルはしばしばトピックに沿ったが意味的に無関係な説明を生成することが判明した。代表的な誤りには、「車の中にいる」といったフレーズの繰り返しや、「〜だからといって〜とは限らない」といった表現の反復が含まれた。