Skip to main content
QUICK REVIEW

[論文レビュー] Measuring Attribution in Natural Language Generation Models

Hannah Rashkin, V. A. Nikolaev|arXiv (Cornell University)|Dec 23, 2021
Topic ModelingComputer Science被引用数 34
ひとこと要約

AISは、NLG出力が特定の外部ソースに帰属するかを評価する正式な枠組みを、複数のタスクで検証された二段階の人間注釈パイプラインを通じて提供する。

ABSTRACT

With recent improvements in natural language generation (NLG) models for various applications, it has become imperative to have the means to identify and evaluate whether NLG output is only sharing verifiable information about the external world. In this work, we present a new evaluation framework entitled Attributable to Identified Sources (AIS) for assessing the output of natural language generation models, when such output pertains to the external world. We first define AIS and introduce a two-stage annotation pipeline for allowing annotators to appropriately evaluate model output according to AIS guidelines. We empirically validate this approach on generation datasets spanning three tasks (two conversational QA datasets, a summarization dataset, and a table-to-text dataset) via human evaluation studies that suggest that AIS could serve as a common framework for measuring whether model-generated statements are supported by underlying sources. We release guidelines for the human evaluation studies.

研究の動機と目的

  • 識別されたソースに帰属可能(AIS)を定義し、システム出力がソースに帰属することの意味を形式化する。
  • NLG出力の解釈可能性とソース帰属を評価する二段階の注釈パイプラインを提供する。
  • 複数のNLGタスクを跨ぐ人間評価を通じてAISの実現可能性を示す。
  • 実用的な設定でAISを注釈する際のガイドラインと実務上の考慮事項を論じる。

提案手法

  • 発話の文脈における意味を捉えるための explicatures を用いてAISを形式化する。
  • 独立した命題と『according to P』帰属テストを定義する。
  • explicaturesと語用論的文脈定義を用いて、複数文の発話と文脈へAISを拡張する。
  • 会話型QA、要約、およびテーブルからテキスト生成のためのタスク別のAISの具体化を提案する。
  • 最初はソースなしの解釈可能性を、次にソースPへの帰属を行う二段階の人間注釈プロセスを設計する。
  • モデルとタスク間でのAISスコアの相互注釈者一致度と差を報告する。

実験結果

リサーチクエスチョン

  • RQ1AISは、モデル出力が特定のソースに基づくかどうかを一貫性のある、解釈可能な指標として提供できるか?
  • RQ2会話型QA、要約、およびテーブルからテキストへのタスクにおける人間のAIS注釈はどれくらい実現可能か?
  • RQ3出力の解釈可能性と特定のソースへの帰属性にはどのような関係があるか?
  • RQ4AISを適用した場合、タスクやモデル出力における注釈者間の合意はどのように変化するか?
  • RQ5再現性のあるAIS注釈を支援するガイドラインと運用上の考慮事項は何か?

主な発見

  • AISは、NLG出力中の発言が基盤となるソースから導出されるかどうかを評価する再現可能な枠組みを提供する。
  • 二段階の注釈プロセスは、彼らの人間研究において中程度から高い注釈者間一致をもたらす。
  • AISは、異なるNLGタスク間で帰属スコアの観点でモデル出力を区別できる。
  • Explicaturesは、帰属のための文脈における発話の意味を評価する実用的な機構を提供する。
  • このフレームワークは、帰属判断における文脈、ソース品質、解釈可能性の役割を認識している。
  • ガイドラインとディスカッションは、今後のAIS主導の評価を支援するために公開される。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。