[論文レビュー] Teach Me to Explain: A Review of Datasets for Explainable NLP.

Sarah Wiegreffe, Ana Marasović|arXiv (Cornell University)|Feb 24, 2021

Topic Modeling参考文献 143被引用数 59

ひとこと要約

この論文は、説明可能なNLPのためのデータセットをレビューし、人間によるアノテーション付き説明を3つのタイプ—ハイライト、自由記述、構造化—に分類し、収集、利用、評価に関する知見を統合する。既存の文献およびデータ拡張、モデル訓練、説明品質評価の実践から得られた教訓に基づき、今後のデータセット作成のための提言を提供する。

ABSTRACT

Explainable NLP (ExNLP) has increasingly focused on collecting human-annotated explanations. These explanations are used downstream in three ways: as data augmentation to improve performance on a predictive task, as a loss signal to train models to produce explanations for their predictions, and as a means to evaluate the quality of model-generated explanations. In this review, we identify three predominant classes of explanations (highlights, free-text, and structured), organize the literature on annotating each type, point to what has been learned to date, and give recommendations for collecting ExNLP datasets in the future.

研究の動機と目的

• 説明可能なNLPで用いられる人間によるアノテーション付き説明の3つの主要なタイプ、すなわちハイライト、自由記述、構造化の説明を特定・分類すること。
• 各説明タイプのアノテーションに関する既存の文献を整理・統合し、メソドロジーのトレンドと課題を強調すること。
• 説明がどのように利用されているか、特にデータ拡張、損失信号、評価指標としての役割について、現在の研究から得られる主な知見を要約すること。
• 実証的知見とベストプラクティスに基づき、高品質なExNLPデータセットを今後収集するための実行可能な提言を提供すること。
• より信頼性が高く、解釈可能で一般化可能なNLPモデルの開発を支援するため、データセット設計とアノテーション基準の向上を図ること。

提案手法

• 説明可能なNLPにおける既存のデータセットおよびアノテーション実践の体系的レビューを行い、ハイライト、自由記述、構造化の3つの説明タイプに焦点を当てる。
• アノテーション形式、タスクタイプ、および下流応用（例：データ拡張、モデル訓練、評価）に基づいてデータセットを分類する。
• 説明が3つの主な方法でどのように使われているかを分析する：データ拡張によるモデル性能の向上、損失信号を用いた説明生成モデルの訓練、説明の評価。
• 研究間の知見を統合し、説明収集における共通する課題、設計パターン、ベストプラクティスを同定する。
• 一貫性、スケーラビリティ、モデル評価ニーズとの整合性を重視して、今後のデータセット収集のための提言を開発する。
• 質的および比較的分析を用いて、既存のデータセットがExNLP研究をどの程度支援できるか、その質と実用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける人間によるアノテーション付き説明の支配的形態は何か？また、構造と目的においてどのように異なるか？
• RQ2 説明は現在、下流NLPタスクでどのように使われており、モデル性能と解釈可能性にどのような影響を与えているか？
• RQ3 ハイライト、自由記述、構造化の説明のアノテーションにおいて、顕在するメソドロジー的パターンと課題は何か？
• RQ4 既存のデータセットから、今後のExNLPデータセット設計を支援する教訓は何か？
• RQ5 今後のデータセットは、どのように最適化され、データ拡張、モデル訓練、説明品質評価を支援できるか？

主な発見

• ハイライト、自由記述、構造化の説明は、ExNLPにおける人間によるアノテーション付き説明の3大カテゴリを構成し、それぞれが異なるアノテーション実践と利用事例を持つ。
• 説明は、特にリソースが限られた環境下で、モデル性能の向上を目的としたデータ拡張として広く使われている。
• 訓練中に説明を損失信号として用いることで、モデルが生成する説明と人間によるアノテーションとの整合性が高まり、忠実性と解釈可能性が向上する。
• モデルが生成する説明の評価は、人間によるアノテーション付き説明をゴールドスタンダードとして用いることで最も効果的である。
• 進展は見られるものの、アノテーションガイドラインや評価プロトコルの不整合は、データセット間で依然として課題となっており、再現性と比較可能性を制限している。
• 今後のデータセットは、標準化、スケーラビリティ、多様性を重視したアノテーションプロトコルの採用を優先すべきである。