[論文レビュー] Towards Interpretable Natural Language Understanding with Explanations as Latent Variables

Wangchunshu Zhou, Jinyi Hu+5 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling被引用数 3

ひとこと要約

本論文は、自然言語の説明を潜在変数として扱う変分EMフレームワークを提案し、人間によるアノテーションが最小限の自然言語理解における解釈可能性を実現する。説明生成モジュールと説明を統合した予測モジュールを同時に最適化し、自己学習手法を用いた半教師あり学習を組み込むことで、教師ありおよび弱教師ありの両設定で優れた性能を達成するとともに、高品質な説明を生成する。

ABSTRACT

Recently generating natural language explanations has shown very promising results in not only offering interpretable explanations but also providing additional information and supervision for prediction. However, existing approaches usually require a large set of human annotated explanations for training while collecting a large set of explanations is not only time consuming but also expensive. In this paper, we develop a general framework for interpretable natural language understanding that requires only a small set of human annotated explanations for training. Our framework treats natural language explanations as latent variables that model the underlying reasoning process of a neural model. We develop a variational EM framework for optimization where an explanation generation module and an explanation-augmented prediction module are alternatively optimized and mutually enhance each other. Moreover, we further propose an explanation-based self-training method under this framework for semi-supervised learning. It alternates between assigning pseudo-labels to unlabeled data and generating new explanations to iteratively improve each other. Experiments on two natural language understanding tasks demonstrate that our framework can not only make effective predictions in both supervised and semi-supervised settings, but also generate good natural language explanation.

研究の動機と目的

• 自然言語理解における大規模な人間によるアノテート済み説明への依存を低減すること。
• 自然言語の説明による推論をモデル化することで、解釈可能なモデルの予測を可能にすること。
• 疑似ラベル付きデータと生成された説明を用いて性能を向上させる半教師あり学習手法を開発すること。
• 変分EMフレームワークを用いて、説明生成と予測を共同で最適化すること。

提案手法

• フレームワークは説明を潜在変数として扱い、説明に関する明示的教師信号がなくても推論プロセスを学習可能にする。
• 変分EMアルゴリズムを用いて、説明生成モジュールと説明を統合した予測モジュールを交互に最適化する。
• 説明生成モジュールは予測のための自然言語の説明を生成し、それが予測モデルの最適化に使用される。
• 予測モジュールは生成された説明を活用することで、一般化性能と解釈可能性を向上させる。
• 自己学習手法を導入し、未ラベルデータに疑似ラベルを割り当て、反復的に説明を生成することで両モジュールの性能を向上させる。
• わずかなアノテート済み説明のみを用いて、教師ありおよび半教師ありの両設定で効果的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自然言語の説明を効果的に潜在変数としてモデル化することで、モデルの解釈性を向上させることができるか？
• RQ2 説明生成と予測の共同最適化フレームワークは、人間によるアノテート済み説明を最小限に抑えて性能を向上させることができるか？
• RQ3 生成された説明を用いた自己学習は、半教師あり設定におけるモデルの一般化性能を向上させることができるか？
• RQ4 生成された説明は人間の推論とどの程度整合しており、予測精度を向上させるか？

主な発見

• 本フレームワークは、わずかな人間によるアノテート済み説明のみを用いても、2つの自然言語理解タスクで優れた性能を達成した。
• モデルは意味的に整合性があり、予測に関連した高品質な自然言語の説明を生成した。
• 自己学習部は、疑似ラベルと説明を反復的に精緻化することで、未ラベルデータにおける性能を向上させた。
• 生成と予測モジュールの共同最適化により、相互に改善が生じ、解釈性と精度の両方が向上した。