[論文レビュー] Towards Explainable NLP: A Generative Explanation Framework for Text Classification

Mohammadi, Hadi, Bagheri, Ayoub+1 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 27被引用数 24

ひとこと要約

本論文は、要約や属性評価値などの詳細な情報を利用し、テキスト分類と要約的で人間が読みやすい説明を同時に学習するモデルに依存しない生成的説明フレームワーク（GEF）を提案する。説明可能性要因と最小リスク学習を導入することで、GEFは分類精度と説明品質の両方を向上させ、明示的な説明を含む2つの新しいデータセットにおいて、強力なニューラルベースラインを上回る性能を発揮する。

ABSTRACT

Building explainable systems is a critical problem in the field of Natural Language Processing (NLP), since most machine learning models provide no explanations for the predictions. Existing approaches for explainable machine learning systems tend to focus on interpreting the outputs or the connections between inputs and outputs. However, the fine-grained information is often ignored, and the systems do not explicitly generate the human-readable explanations. To better alleviate this problem, we propose a novel generative explanation framework that learns to make classification decisions and generate fine-grained explanations at the same time. More specifically, we introduce the explainable factor and the minimum risk training approach that learn to generate more reasonable explanations. We construct two new datasets that contain summaries, rating scores, and fine-grained reasons. We conduct experiments on both datasets, comparing with several strong neural network baseline systems. Experimental results show that our method surpasses all baselines on both datasets, and is able to generate concise explanations at the same time.

研究の動機と目的

• 既存のNLPモデルがブラックボックスとして機能する傾向に鑑み、人間が読みやすい詳細な説明が不足している問題に対処する。
• 同時にテキスト分類と要約的説明を生成する統合フレームワークを開発する。
• 予測の裏にある根拠を明示的にモデル化することで、モデルの信頼性と解釈可能性を向上させる。
• テキスト分類用の詳細な説明（要約、評価値）を含む2つの新しい公開データセットを構築・公開する。
• 説明生成を組み込むことで、分類性能と説明品質の両方が向上することを実証する。

提案手法

• 分類と説明生成を同時に最適化するハイブリッド生成的・識別的フレームワークを提案する。
• 入力テキストと生成された説明の関係を明示的にモデル化するための「説明可能性要因」を導入する。
• 生成された説明がゴールデンリファレンスと一致するように、リスクに基づく損失関数を最小化する最小リスク学習を採用する。
• 抽出的メソッドに依存するのではなく、要約的生成により、簡潔で自然言語の説明を生成する。
• CNN、LSTM、Transformerなどのさまざまなニューラルネットワークアーキテクチャに適応可能であり、フレームワークがモデルに依存しない。
• 2つの新たに構築されたデータセットを活用する：PCMag（ポジティブ／ネガティブ／ニュートラルなコメント付き製品レビュー）とSkytrax（5段階の属性評価付きフライトレビュー）

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、同時にテキスト分類を学習し、高品質な要約的説明を生成できるか？
• RQ2 属性評価値や要約コメントなどの詳細な情報を取り入れることで、モデル性能と説明品質はどのように向上するか？
• RQ3 最小リスク学習は、人間がアノテートしたリファレンスと整合性の高い説明生成を効果的に最適化できるか？
• RQ4 提案されたフレームワークは、さまざまなニューラルネットワークアーキテクチャに効果的に適用可能か？
• RQ5 説明を生成することで、NLPモデルの解釈可能性と信頼性はどの程度向上するか？

主な発見

• 提案された生成的説明フレームワーク（GEF）は、PCMagおよびSkytraxの両データセットにおいて、強力なニューラルネットワークベースラインを大きく上回る分類精度を達成した。
• GEFは、生成された説明を通じて予測の根拠を明示的にモデル化することで、モデル性能を向上させた。
• フレームワークは、ベースライン手法よりも情報量が多く、ゴールデンリファレンスと整合性の高い簡潔で人間が読みやすい説明を生成した。
• リスクに基づく損失関数を最適化することで、最小リスク学習が説明品質を効果的に向上させ、関連性と文の自然さを向上させた。
• 要約的説明生成プロセスにより、より短く情報量の多い説明が生成されたが、まれにドメイン固有の語が<UNK>トークンに置き換えられる場合があった。
• 著者らは、詳細な説明を含む2つの新しい公開データセットをリリースし、今後の説明可能なNLP分野の研究を可能にした。