[論文レビュー] Quantifying Uncertainties in Natural Language Processing Tasks

Yijun Xiao, William Yang Wang|arXiv (Cornell University)|Nov 18, 2018

Topic Modeling参考文献 18被引用数 15

ひとこと要約

本稿では、ベイジアンニューラルネットワークとモンテカルロドロップアウトを用いて、自然言語処理（NLP）タスクにおけるモデル（エピステミック）的不確実性と入力依存のデータ（アレアトリック）的不確実性を定量化する手法を提案する。これらの不確実性をモデル化することで、感情分析、名前付きエンティティ抽出、言語モデリングの各タスクで性能が向上し、F1スコアで最大26.4%、パープレキシティで4.2%の向上が達成された。また、高い不確実性は予測がより曖昧または困難であることを示す相関関係を示している。

ABSTRACT

Reliable uncertainty quantification is a first step towards building explainable, transparent, and accountable artificial intelligent systems. Recent progress in Bayesian deep learning has made such quantification realizable. In this paper, we propose novel methods to study the benefits of characterizing model and data uncertainties for natural language processing (NLP) tasks. With empirical experiments on sentiment analysis, named entity recognition, and language modeling using convolutional and recurrent neural network models, we show that explicitly modeling uncertainties is not only necessary to measure output confidence levels, but also useful at enhancing model performances in various NLP tasks.

研究の動機と目的

• NLPタスクにおけるモデル不確実性とデータ不確実性を定量化する手法を開発し、モデルの信頼性と解釈可能性を向上させること。
• 明示的な不確実性のモデル化が、感情分析、名前付きエンティティ抽出、言語モデリングの各タスクにおける性能向上に寄与するかどうかを調査すること。
• 異なるNLPタスクにおける予測の難易度と定量化された不確実性の相関関係を分析すること。
• より曖昧または予測が難しい入力（例：短い、高エントロピーのトークン）に対して、データ不確実性が上昇することを検証すること。

提案手法

• モデル不確実性は、複数回の順方向伝搬においてニューロンをドロップアウトすることで、事後予測分布を近似するモンテカルロドロップアウトを用いて定量化する。
• 入力依存のデータ不確実性は、入力に応じて変化するホモスケダスティック不確実性としてモデル化され、入力固有のノイズ分散を捉える。
• 全分散の法則を用いて、数学的に総不確実性をモデル不確実性とデータ不確実性の2つの成分に分解する。
• 変分推論を用いたベイジアンニューラルネットワークの学習により、不確実性に配慮した表現を学習する。
• 複数回の順方向伝搬における予測分散を用いて不確実性を推定し、高い分散は低い信頼度を示す。
• NLPタグや入力トークンにおけるラベル分布のエントロピーとF1スコアとの相関関係を用いて、不確実性を分析する。

実験結果

リサーチクエスチョン

• RQ1 モデル不確実性とデータ不確実性の両方を定量化することで、NLPタスクにおける性能が向上するか？
• RQ2 感情分析および名前付きエンティティ抽出における予測の難易度と、定量化された不確実性の相関関係は何か？
• RQ3 曖昧または高エントロピーのラベル分布を示す入力では、入力依存のデータ不確実性が高くなるか？
• RQ4 不確実性推定は、異なるNLPタスクにおいてモデル予測の信頼度を効果的に反映できるか？

主な発見

• CNNを用いた感情分析では、両方の不確実性をモデル化することで、ベースラインと比較してF1スコアが最大26.4%向上した。
• CoNLL 2003における名前付きエンティティ抽出では、入力依存のデータ不確実性の導入によりF1スコアが2.7%向上した。
• 言語モデリングでは、両方の不確実性を組み合わせることでパープレキシティが4.2%低下した。
• NLPタグ分布のエントロピーがより高い入力では、一貫して高いデータ不確実性が推定されたことから、曖昧さに敏感であることが示された。
• NERタグにおけるF1スコアが低いトークンは、平均的なデータ不確実性が高くなる傾向にあり、予測の難易度と相関していることが確認された。
• 高いデータ不確実性を示した例は、通常、短い、もしくは弱い意見信号を持つ長い入力であったのに対し、低い不確実性の例は、強い中程度の長さの意見信号を示していた。