[論文レビュー] Honest Students from Untrusted Teachers: Learning an Interpretable Question-Answering Pipeline from a Pretrained Language Model

Jacob Eisenstein, Daniel Andor+3 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用数 11

ひとこと要約

本稿では、オープンブックQAのためのマークアップ＆マスクリテラルを提案する。自由なテキストによるマークアップにより、文の文脈を外して独立して解釈可能な形にし、その後に抽出的リテラルマスクを適用する。固定された事前学習済み言語モデル（「教師」）を用いたコンテキスト内学習により、銀のリテラルを生成し、より小さな「誠実な学生」モデルを訓練する。この学生モデルは厳密なパイプラインに従う——まずマークアップを生成し、次にリテラルを抽出し、最後にリテラルのみを使って答えを出力する。この方法により、人為的アノテーションを最小限に抑えながら、高い精度と強力なリテラル含意性を達成する。

ABSTRACT

Explainable question answering systems should produce not only accurate answers but also rationales that justify their reasoning and allow humans to check their work. But what sorts of rationales are useful and how can we train systems to produce them? We propose a new style of rationale for open-book question answering, called \emph{markup-and-mask}, which combines aspects of extractive and free-text explanations. In the markup phase, the passage is augmented with free-text markup that enables each sentence to stand on its own outside the discourse context. In the masking phase, a sub-span of the marked-up passage is selected. To train a system to produce markup-and-mask rationales without annotations, we leverage in-context learning. Specifically, we generate silver annotated data by sending a series of prompts to a frozen pretrained language model, which acts as a teacher. We then fine-tune a smaller student model by training on the subset of rationales that led to correct answers. The student is "honest" in the sense that it is a pipeline: the rationale acts as a bottleneck between the passage and the answer, while the "untrusted" teacher operates under no such constraints. Thus, we offer a new way to build trustworthy pipeline systems from a combination of end-task annotations and frozen pretrained language models.

研究の動機と目的

• 抽出的リテラルマスクと自由なテキストマークアップを組み合わせることで、話者の文脈を保ちつつ解釈可能なリテラルを生成する信頼できるQAシステムの開発を目的とする。
• 抽出的リテラルが代名詞や省略を含む文に失敗する問題を解決するため、文の意味を独立して理解できるように、マークアップによる文の文脈外しを可能にする。
• リテラル生成のための明示的アノテーションを必要とせず、固定された事前学習済み言語モデルからのコンテキスト内学習を活用して、パイプラインベースの学生モデルを訓練することを目的とする。
• 学生モデルが「誠実」であることを保証する——つまり、元の文章ではなく、リテラルのみに依存して答えを出力するようにすることにより、信頼性と解釈可能性を向上させる。
• 蒸留された学生モデルが、人為的アノテーションが最小限の状況でも、精度、リテラル含意性、マークアップ品質といった主な指標において教師モデルを上回ることを示すこと

提案手法

• 固定された事前学習済み言語モデル（「教師」）を用い、各文に対して文脈を外したマークアップを生成する。代名詞や参照表現を完全な名詞句に置き換えることで、文が独立して解釈可能になるようにする。
• 同じ教師モデルを用いて、マークアップ済みの文章から段階的思考のリテラルと答えを生成する。これにより、推論が文脈外し済みのテキストに基づくことを保証する。
• 教師モデルにリテラル（全文ではなく）のみを使って質問に答えさせることで、リテラルの正しさを検証する。答えが正解ラベルと一致すれば、そのリテラルとマークアップは銀データとして保持する。
• 銀データで微調整された学生モデルを、厳密なパイプラインに従わせる——まずマークアップを生成し、次にリテラルスパンを選択し、最後にリテラルのみを使って答えを出力する。
• 順次的プロンプトを用いた前向き連鎖型プロンプト・キャスケードを用い、教師が段階的推論のトレースとリテラルを生成できるようにする。
• リテラルが正しく答えを導くかどうかを基準に、銀データの例をフィルタリングすることで、高品質な訓練データのみを学生モデルの学習に使用する。

実験結果

リサーチクエスチョン

• RQ1 自由なテキストマークアップと抽出的マスクの組み合わせは、従来の抽出的リテラルに比べ、より解釈可能で忠実なリテラルを生成できるか？
• RQ2 人為的アノテーションのない状況で、固定された事前学習済み言語モデルが、リテラル生成のための高品質な銀アノテーションを信頼できる教師として提供できるか？
• RQ3 パイプラインアーキテクチャに制限を受けるが、より小さいモデルであるにもかかわらず、銀データから学習した蒸留された学生モデルが、精度、リテラル品質、マークアップ正確性の面で教師モデルを上回ることができるか？
• RQ4 学生モデルがリテラル選択後に元の文章を破棄するパイプラインを強制することで、予測の信頼性と解釈可能性が向上するか？
• RQ5 5つの正解ラベル付き例での少数-shotコンテキスト内学習は、文脈外しマークアップの生成にどの程度有効か？

主な発見

• 誠実な学生モデルは、パイプライン型システムであるにもかかわらず、SQuADレベルに近い精度を達成しており、解釈可能性を犠牲にすることなく性能を維持していることが示された。
• QuoRefでは、マークアップの導入により、正解の正確性が顕著に向上し、抽出的スパンのみに依存する場合と比較して、文脈外し処理が推論を強化していることが確認された。
• 学生モデルが生成するリテラルは、チェーン・オブ・スティル・リテラルに比べ、予測された答えを含意する可能性が20 F1ポイント高い。これは、より強い論理的一致性を示している。
• 学生モデルは、11,290件の正解ラベル付き例で微調整されたモデルよりも、より正確な文脈外しマークアップを生成しており、固定LLMからの蒸留の有効性が裏付けられた。
• 学生モデルは、すべての3つの主要指標（全体精度、リテラル含意率、マークアップ正確性）において教師モデルを上回り、成功した知識蒸留を示した。
• 本手法は、マークアップの文脈外しにわずか5件の人的アノテーション例のみを必要としているが、それにもかかわらず、はるかに大きな正解ラベル付きデータセットで学習したモデルを上回るマークアップ品質を達成した。