[論文レビュー] Textbook Question Answering with Knowledge Graph Understanding and Unsupervised Open-set Text Comprehension.

Daesik Kim, Seonhoon Kim+1 more|arXiv (Cornell University)|Nov 1, 2018

Multimodal Machine Learning Applications参考文献 12被引用数 4

ひとこと要約

本稿では、テキストと画像のマルチモーダルな文脈から知識グラフを構築し、グラフ畳み込みネットワーク（f-GCN）を用いて統合する、教科書質問応答（TQA）のための新規フレームワークを提案する。また、未知の分野の科学用語に対処するため、自己教師ありオープンセット学習手法を導入している。この手法は、TQAベンチマークにおいて、先行する最先端モデルを顕著に上回る性能を発揮する。

ABSTRACT

In this work, we introduce a novel algorithm for solving the textbook question answering (TQA) task which describes more realistic QA problems compared to other recent tasks. We mainly focus on two related issues with analysis of the TQA dataset. First, solving the TQA problems requires to comprehend multi-modal contexts in complicated input data. To tackle this issue of extracting knowledge features from long text lessons and merging them with visual features, we establish a context graph from texts and images, and propose a new module f-GCN based on graph convolutional networks (GCN). Second, scientific terms are not spread over the chapters and subjects are split in the TQA dataset. To overcome this so called out-of-domain issue, before learning QA problems, we introduce a novel self-supervised open-set learning process without any annotations. The experimental results show that our model significantly outperforms prior state-of-the-art methods. Moreover, ablation studies validate that both methods of incorporating f-GCN for extracting knowledge from multi-modal contexts and our newly proposed self-supervised learning process are effective for TQA problems.

研究の動機と目的

• 長文のテキストと画像を統合した複雑なマルチモーダルな教科書文脈を、質問応答の文脈で的確に理解する課題に対処すること。
• TQAデータセットにおける科学用語の章や分野ごとの希少な分布が原因で生じる未知の分野問題を克服すること。
• アノテーションなしのデータから学習可能で、未知の用語への一般化を可能にする自己教師ありオープンセット学習手法の開発。
• 文脈グラフ構造を通じて視覚的およびテキスト的特徴を効果的に統合することで、教科書QAの性能を向上させること。
• f-GCNモジュールおよび自己教師あり学習プロセスの有効性を、実世界のTQAシナリオにおいて検証すること。

提案手法

• 教科書のテキスト的説明と関連画像から文脈グラフを構築し、概念と視覚的要素の間の関係をモデル化する。
• マルチモーダルな文脈からの特徴抽出を強化するため、新規のf-GCN（特徴に配慮したGCN）モジュールを設計する。
• QA学習の前段階として、自己教師ありオープンセット学習プロセスを実装し、アノテーションのないデータから学習し、未学習の科学用語への一般化を可能にする。
• TQAデータセットを用いて、知識グラフ推論と質問応答の両方を同時に最適化する形で、モデルをエンドツーエンドで学習する。
• 質問表現を文脈グラフ内の関連ノードと一致させるために、アテンション機構を用いることで、理解力の向上を図る。
• 自己教師ありフェーズで対照的学習の目的関数を適用し、既知の用語と未知の用語の意味的分離を促進する。

実験結果

リサーチクエスチョン

• RQ1 テキストと画像を含むマルチモーダルな教科書文脈を、質問応答のための知識抽出を向上させるために効果的にモデル化する方法は何か？
• RQ2 自己教師ありオープンセット学習は、教科書QAにおける未知の分野の科学用語への一般化をどの程度向上できるか？
• RQ3 GCNベースのモジュールを統合した文脈グラフの統合は、標準的なニューラルネットワークと比較して、複雑なTQAタスクにおける性能を向上させるか？
• RQ4 f-GCNおよび自己教師あり学習の各コンponentが、全体のモデル性能にどのように寄与しているか？
• RQ5 提案手法は、未知の分野の例をアノテーションなしで使用せずに、TQAベンチマークで最先端の結果を達成できるか？

主な発見

• 提案モデルは、TQAベンチマークにおいて、先行する最先端手法を顕著に上回る性能を発揮し、優れた一般化および理解能力を示した。
• アブレーションスタディの結果、マルチモーダル特徴抽出のためのf-GCNモジュールおよび自己教師ありオープンセット学習プロセスが、モデル性能に有意義な寄与をしていることが確認された。
• 自己教師あり学習プロセスにより、アノテーションデータを一切必要とせず、未知の分野の科学用語への適応が効果的に行えるようになった。
• 文脈グラフの構築により、概念間の意味的および視覚的関係を捉えることで、複雑な複文の教科書本文に対する推論能力が向上した。
• f-GCNモジュールは、グラフ構造上の関連概念間で情報を集約することで、特徴表現学習を改善した。
• 訓練中に遭遇しなかった科学用語に対しても、モデルは頑健な性能を示し、オープンセット学習戦略の有効性が裏付けられた。