[論文レビュー] One-shot Learning for Question-Answering in Gaokao History Challenge

Zhuosheng Zhang, Hai Zhao|arXiv (Cornell University)|Jun 24, 2018

Topic Modeling参考文献 46被引用数 32

ひとこと要約

本稿では、中国語高考歴史試験における少数ショット質問・回答のための協調ゲーテッドニューラルネットワーク（CGNN）を強化するために、ニューラルチューリングマシン（NTM）を自動ラベル生成器として用いたワンショット学習フレームワークを提案する。本モデルは、最小限のラベル付きデータで長く複雑な回答の意味的表現を効果的に捉えることで、ニューラルベースラインを著しく上回る性能を達成する。

ABSTRACT

Answering questions from university admission exams (Gaokao in Chinese) is a challenging AI task since it requires effective representation to capture complicated semantic relations between questions and answers. In this work, we propose a hybrid neural model for deep question-answering task from history examinations. Our model employs a cooperative gated neural network to retrieve answers with the assistance of extra labels given by a neural turing machine labeler. Empirical study shows that the labeler works well with only a small training dataset and the gated mechanism is good at fetching the semantic representation of lengthy answers. Experiments on question answering demonstrate the proposed model obtains substantial performance gains over various neural model baselines in terms of multiple evaluation metrics.

研究の動機と目的

• ラベル付き学習データが極めて限られている高考歴史試験における少数ショット、包括的質問・回答の課題に対処すること。
• 複雑で非構造的な回答生成に大規模なラベル付きデータを必要とする従来のニューラルネットワークの限界を克服すること。
• 注釈が乏しい現実世界の教育QAタスクに適した弱教師付き学習戦略を開発すること。
• 外部記憶メカニズムを活用して、最小限の監視情報から深層ニューラルネットワークが豊かな意味的表現を学習できるようにすること。
• 非事実的でオープンドメインの包括的QAのための新基準を確立すること。非構造的な教科書形式の知識源を用いる。

提案手法

• 質問と候補回答の両方を統合的に符号化するため、協調ゲーテッドニューラルネットワーク（CGNN）を用いて意味的マッチングを実現する。
• ラベル付き例がわずか数個の状況でも、NTMをラベル生成器として統合し、候補回答のための擬似ラベルを生成する。
• NTMの微分可能な外部記憶を活用して関連知識を格納・取得し、最小限の監視情報からのワンショット学習を可能にする。
• NTMが生成した擬似ラベル付きデータでCGNNを訓練することで、実際のラベルが限られている状況でも一般化性能を向上させる。
• NTMの記憶への読み書き能力を活用し、教科書形式のテキストからの人間のような推論と知識取得を模倣する。
• ラベルなし教科書本文からの教師なし表現学習と、NTMラベル生成器による弱教師付き学習を統合し、モデルの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最小限のラベル付きデータで、ワンショット学習アプローチが高考歴史試験における質問・回答の性能を著しく向上させることができるか？
• RQ2 低リソース環境下で、ニューラルチューリングマシン（NTM）が高品質な回答表現を生成する自動ラベル生成器として効果的であるか？
• RQ3 協調ゲーテッドニューラルネットワーク（CGNN）は、標準的なニューラルネットワークと比較して、長く複雑な回答における意味的関係をより効果的に捉えることができるか？
• RQ4 NTMベースのラベル生成器の統合が、少数ショット状況下での深層QAモデルの性能を顕著に向上させるか？
• RQ5 注釈が極めて少ない状況下で、弱教師付き学習が、従来の検索ベースまたは完全教師付き手法を上回る程度の性能を示せるか？

主な発見

• NTMラベル生成器を搭載した本モデルは、複数の評価指標において、複数のニューラルネットワークベースラインを著しく上回る性能を達成した。
• NTMラベル生成器は、わずかな注釈付き例しか使用しない状況でも、高品質な擬似ラベルを効果的に生成し、低リソース環境下での優れた一般化性能を示した。
• 協調ゲーテッドニューラルネットワーク（CGNN）は、長文の回答テキストにおける複雑な意味的関係を効果的にモデル化することで、BM25や他のニューラルベースラインを上回った。
• NTMラベル生成器の統合により、すべての深層ニューラルモデルの性能が顕著に向上し、弱教師付き学習における有効性が確認された。
• 本モデルは、非構造的な教科書形式の知識源から知識統合と深い推論を要する包括的で非事実的質問を効果的に処理できた。
• 本研究では、高考歴史用の新しい中国語包括的QAデータセットを構築し、今後の少数ショット、オープンドメイン、推論を要する質問・回答タスクの研究を可能にした。