[論文レビュー] Learning from Explanations with Neural Execution Tree

Ziqi Wang, Yujia Qin+6 more|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling被引用数 17

ひとこと要約

この論文では、自然言語（NL）説明を実行可能な論理形式に変換し、ニューラルモジュールを用いて言語的バリエーションを一般化することで、低リソース設定におけるテキスト分類を向上させるフレームワークであるNeural Execution Tree（NExT）を提案する。正確な一致を緩和し、ファジーでモジュラー化された一致（文字列、カウント、論理、決定論的関数）を用いることで、NExTは再現率と一般化性能を顕著に向上させ、最小限のアノテーション作業で関係抽出およびセンチメント分析において最先端の性能を達成した。

ABSTRACT

While deep neural networks have achieved impressive performance on a range of NLP tasks, these data-hungry models heavily rely on labeled data, which restricts their applications in scenarios where data annotation is expensive. Natural language (NL) explanations have been demonstrated very useful additional supervision, which can provide sufficient domain knowledge for generating more labeled data over new instances, while the annotation time only doubles. However, directly applying them for augmenting model learning encounters two challenges: (1) NL explanations are unstructured and inherently compositional, which asks for a modularized model to represent their semantics, (2) NL explanations often have large numbers of linguistic variants, resulting in low recall and limited generalization ability. In this paper, we propose a novel Neural Execution Tree (NExT) framework to augment training data for text classification using NL explanations. After transforming NL explanations into executable logical forms by semantic parsing, NExT generalizes different types of actions specified by the logical forms for labeling data instances, which substantially increases the coverage of each NL explanation. Experiments on two NLP tasks (relation extraction and sentiment analysis) demonstrate its superiority over baseline methods. Its extension to multi-hop question answering achieves performance gain with light annotation effort.

研究の動機と目的

• 自然言語説明を用いたテキスト分類器のトレーニングにおいて、低再現率と一般化性能の低さという課題に対処すること。
• 意味的理解を向上させるために、NL説明の構成的かつ構造的性質をモデル化すること。
• 正確な語彙的一致に依存するのを減らし、論理形式のニューラルベースの一般化を導入することで、一致をファジー化すること。
• 人間がアノテートしたNL説明からの弱い監視を用いて、低リソースNLPタスクにおける未ラベルデータの有効活用を可能にすること。
• 最小限のアノテーション作業で、マルチホップ質問応答にこのフレームワークを拡張すること。

提案手法

• 組み合わせカテゴリカル文法（CCG）に基づく意味解析器を用いて、NL説明を論理形式に変換する。
• 言語的バリエーションを一般化する4つのニューラル一致モジュール（文字列一致、ソフトカウント、論理計算、決定論的関数モジュール）を導入する。
• 正確な一致の代わりにファジー一致スコアを用いることで、ラベル付きインスタンスのカバー範囲を拡大する。
• 信頼度のしきい値を用いて、原語彙から生成された疑似ラベル付きインスタンスとラベル付きデータの両方を同時に学習する共同モデルを訓練する。
• ラベル付きデータと未ラベル付きデータの両方を活用する共同学習アルゴリズムを適用し、モデルの一般化性能を向上させる。
• 21個のNL説明と5つの手書きルールを用いて、マルチホップ質問応答にこのフレームワークを適応する。

実験結果

リサーチクエスチョン

• RQ1 自然言語説明を、低リソースNLPタスクにおけるモデル一般化の向上に寄与する実行可能な論理形式に効果的に変換できるか？
• RQ2 説明における言語的ばらつきをどのように扱うことで、新しいインスタンスのラベリングにおける再現率と耐性を向上させられるか？
• RQ3 ニューラルモジュールを用いて正確な一致を緩和し、説明ベースのラベル付けルールのファジーで構成的な一般化を可能にできるか？
• RQ4 NExTは、最小限の人間がアノテートした説明で、テキスト分類およびマルチホップ質問応答の性能をどの程度向上できるか？
• RQ5 ラベル付きデータと疑似ラベル付きデータの共同学習は、従来の弱い監視と比較して、モデル性能をどの程度向上させるか？

主な発見

• NExTは、信頼度しきい値 >0.1 を用いた未ラベル付きデータを活用した場合、SemEval-2010 Task 8データセットで75.60%の精度を達成し、ベースラインを上回った。
• 21個の自然言語説明と5つのルールを用いた場合、マルチホップ質問応答で1%の性能向上を達成した。
• NExTは、言語的バリエーションを一般化することで説明のカバー範囲を顕著に拡大し、意味的に同等だが語彙的に異なる文で失敗するのを回避した。
• ソフトカウントおよび論理計算モジュールは、表現のばらつきや数値表現の変化に対処する上で特に効果的であった。
• 疑似ラベル付きインスタンスに対して信頼度ベースのフィルタリングを施した共同学習戦略により、複数のデータセットで一貫した性能向上が得られた。
• NExTは強力な一般化性能を示し、未ラベル付きデータの有効活用を可能にするとともに、ラベル付け意思決定の信頼性を高い水準で維持した。