[論文レビュー] Uncertainty in Natural Language Generation: From Theory to Applications

Joris Baan, Nico Daheim+8 more|arXiv (Cornell University)|Jul 28, 2023

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文は、言語的要因、認知的要因、モデルレベル要因を含む二重次元の不確実性要因分類を導入することで、自然言語生成（NLG）における不確実性を体系的にモデル化する枠組みを提案する。これにより、NLGシステムの信頼性、制御可能性、信頼性が向上する。不確実性の分離表現が、選択的応答、アクティブラーニング、制御可能な生成といった応用を可能にすることを示している。

ABSTRACT

Recent advances of powerful Language Models have allowed Natural Language Generation (NLG) to emerge as an important technology that can not only perform traditional tasks like summarisation or translation, but also serve as a natural language interface to a variety of applications. As such, it is crucial that NLG systems are trustworthy and reliable, for example by indicating when they are likely to be wrong; and supporting multiple views, backgrounds and writing styles -- reflecting diverse human sub-populations. In this paper, we argue that a principled treatment of uncertainty can assist in creating systems and evaluation protocols better aligned with these goals. We first present the fundamental theory, frameworks and vocabulary required to represent uncertainty. We then characterise the main sources of uncertainty in NLG from a linguistic perspective, and propose a two-dimensional taxonomy that is more informative and faithful than the popular aleatoric/epistemic dichotomy. Finally, we move from theory to applications and highlight exciting research directions that exploit uncertainty to power decoding, controllable generation, self-assessment, selective answering, active learning and more.

研究の動機と目的

• 信頼性や信頼性の観点から不確実性の取り扱いが極めて重要であるにもかかわらず、NLGにおける不確実性の体系的取り扱いの欠如に取り組む。
• 自然言語生成における主な言語的および認知的不確実性要因を特定し、分類する。
• 従来のアレアトリック／エピステムス的二分法を超えて、より洗練された二重次元の不確実性分類を開発する。
• 分離された不確実性表現が、デコード戦略、自己評価、アクティブラーニングといった実用的NLG応用をどのように向上させるかを示す。
• 今後の信頼性の高い多様なNLGシステムの研究を導くための共通の理論的理解を促進する。

提案手法

• 可能な世界モデルと確率論を用いた形式的枠組みを提案し、NLGにおける不確実性を表現する。
• 入力、タスク、エージェント、実現レベルの不確実性要因を可視化するための「言語生成の二重三角形」を導入する。
• 源（言語的対モデル）とタイプ（エピステムス的対アレアトリック）に基づく二重次元の不確実性分類を開発し、従来の二分法よりも洗練された分類を提供する。
• 不確実性表現をデコード戦略に応用し、信頼度ベースの拒否や選択的応答を実現する。
• サブ集団の好みやライティングスタイルをモデル化することで、不確実性を用いた制御可能な生成を実現する。
• アクティブラーニングおよび分布外検出に不確実性を統合し、データ効率性とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 NLGにおける不確実性は、言語的、認知的、モデルレベルの要因にわたり、どのように形式的に表現され、区別されるべきか？
• RQ2 言語的および認知的視点から見た自然言語生成における主な不確実性要因は何か？
• RQ3 二重次元の不確実性分類は、NLGにおける従来のアレアトリック／エピステムス的区別をどのように改善するか？
• RQ4 分離された不確実性表現は、NLGシステムにおけるデコード、制御可能な生成、自己評価をどのように向上させるか？
• RQ5 不確実性は、NLGモデルにおけるアクティブラーニングおよび分布外検出を向上させるためにどのように活用できるか？

主な発見

• 本論文は、従来のアレアトリック／エピステムス的二分法よりも、入力の曖昧さ、タスクの開放的性、モデルの分布シフトといった要因を統合した、より複雑なNLGの不確実性を捉える二重次元の分類を提案している。
• 分離された不確実性表現により、選択的応答が向上し、信頼度が低い場合に応答を控えることで、モデルがより良い精度／拒否のトレードオフを達成できるようになった。
• 不確実性を考慮したデコード戦略により、制御性が向上し、特定のユーザーの視点やライティングスタイルに合わせた応答生成が可能になった。
• モデルの不確実性はアクティブラーニングに効果的に活用可能であるが、本論文では一部の状況では不確実性ベースのサンプリングが一様サンプリングを下回ることを指摘している。
• 機械翻訳や要約抽出のタスクにおいて、予測確率が誤りの可能性と相関していることが示され、自己評価に活用できることが裏付けられた。
• 分布外検出は、不確実性モデリングによって恩恵を受ける。モデルは分布外入力に対して高い不確実性を示すため、異常検出が可能になる。