[論文レビュー] WT5?! Training Text-to-Text Models to Explain their Predictions

Sharan Narang, Colin Raffel+4 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 54被引用数 103

ひとこと要約

本論文はテキスト間モデルを訓練し、予測とともに自然言語の説明を生成させ、最先端の説明可能性を達成するとともに、訓練損失を変更せずに半教師あり学習およびドメイン間転移を可能にする。

ABSTRACT

Neural networks have recently achieved human-level performance on various challenging natural language processing (NLP) tasks, but it is notoriously difficult to understand why a neural network produced a particular prediction. In this paper, we leverage the text-to-text framework proposed by Raffel et al.(2019) to train language models to output a natural text explanation alongside their prediction. Crucially, this requires no modifications to the loss function or training and decoding procedures -- we simply train the model to output the explanation after generating the (natural text) prediction. We show that this approach not only obtains state-of-the-art results on explainability benchmarks, but also permits learning from a limited set of labeled explanations and transferring rationalization abilities across datasets. To facilitate reproducibility and future work, we release our code use to train the models.

研究の動機と目的

• ニューラル予測を解釈可能にすることを動機づけ、自然言語による説明を可能にする。
• 訓練手法やデコード手順を変更せずに、テキストツートゥテキスト枠組みを活用して説明を出力するようモデルを訓練する。
• 複数のNLPタスクにおける説明可能性ベンチマークで最先端の性能を示す。
• 説明能力の半教師なし学習、ドメイン間転移、およびタスク間転移を探究する。

提案手法

• 基盤モデルとして Text-to-Text Transfer Transformer (T5) を用い、自然言語の説明付きの分類のために微調整する。
• 望む場合、入力の先頭に token explain を付与して、出力に同時に説明を生成する。
• 説明付きの例と説明なしの例を混在させた目的関数で訓練し、半教師あり学習を可能にする。
• 任意で、入力のスパンに対応させることができる説明スパンを出力するようモデルを訓練し、抽出型の説明をサポートする。
• 説明を、抽象的説明には BLEU、抽出型説明にはトークン化された入力スパンに対する F1 を用いて評価し、人間の判断（Mechanical Turk）を補助的に用いる。

実験結果

リサーチクエスチョン

• RQ1 損失目的を変更せずに、単一のテキストツートゥテキストモデルが予測に対して一貫した自然言語の説明を生成できるか。
• RQ2 説明を含めることが、データセット全体で予測精度と説明品質にどのような影響を与えるか。
• RQ3 データの一部のみで説明が提供される半教師あり学習の有効性はどれくらいか。
• RQ4 明示的な説明アノテーションなしに、ドメイン間およびタスク間で説明能力が転移できる程度はどれくらいか。

主な発見

• WT5-11B は、データセット全体で高い精度と競争力のある説明品質を達成し、予測と説明の両方で従来の最先端をしばしば上回す。
• モデルは、いくつかのデータセットで説明品質が人間評価レベルまたは人間を超えるレベルに達する。
• 説明生成は、限定的な注釈付き説明の下でも半教師あり設定で有効であり、特に抽象的な説明でそうである。
• Cross-domain transfer (e.g., MNLI, IMDb) yields plausible explanations with high human-rated quality and strong classification performance.
• Cross-task transfer (e.g., e-SNLI to CoS-E) is feasible with appropriate input formatting and beam-search decoding, producing reasonable explanations.