[論文レビュー] Capturing Label Distribution: A Case Study in NLI

Shujian Zhang, Chengyue Gong+1 more|arXiv (Cornell University)|Feb 13, 2021

Natural Language Processing Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、自然言語推論（NLI）モデルのキャリブレーションを改善するため、予測ラベル分布の事後平滑化により人間のラベルエントロピーに一致させる、もしくは複数のラベル（1例あたり5〜20ラベル）を備えた少数の例を用いた学習を行う手法を提案する。両手法とも、人間のラベル分布とのKLダイバージェンスを最大で50%まで低減するが、予測精度の向上は多ラベル学習でのみ見られる。

ABSTRACT

We study estimating inherent human disagreement (annotation label distribution) in natural language inference task. Post-hoc smoothing of the predicted label distribution to match the expected label entropy is very effective. Such simple manipulation can reduce KL divergence by almost half, yet will not improve majority label prediction accuracy or learn label distributions. To this end, we introduce a small amount of examples with multiple references into training. We depart from the standard practice of collecting a single reference per each training example, and find that collecting multiple references can achieve better accuracy under the fixed annotation budget. Lastly, we provide rich analyses comparing these two methods for improving label distribution estimation.

研究の動機と目的

• 自然言語推論（NLI）タスクにおける人間の不確実性（ラベル分布）の推定を改善すること。
• 事後キャリブレーションと多ラベル学習のどちらが人間のラベル分布をモデル化する上でより効果的かを調査すること。
• 固定されたラベル付け予算下で、1つの参照ラベルを付与する多数の例と、複数のラベルを付与する少数の例の間で、ラベル付け戦略のトレードオフを評価すること。
• 曖昧なNLI例におけるモデル性能を評価する際の分布的指標の限界を分析すること。

提案手法

• 予測ラベル分布のエントロピーを人間ラベル分布のエントロピーに一致させるように、温度スケーリングとラベルスムージングを適用してモデル予測ラベル分布をキャリブレーションする。
• 各例に複数のラベル（5〜20個）が付与されたデータセットのサブセットを用いて、RoBERTaモデルを学習する。
• 固定されたラベル付け予算を用いて、1つの参照ラベルを付与する多数の例と、複数のラベルを付与する少数の例の2つの戦略を比較する。
• Jensen-Shannonダイバージェンス（JSD）、Kullback-Leibler（KL）ダイバージェンス、元のラベルおよび新しいゴールドラベルにおける精度、予測分布のエントロピーを用いて性能を測定する。
• 真の人のラベル分布を推定するために、1例あたり100人のラベルが付与されたChaosSNLIおよびChaosMNLIデータセットを用いて評価する。
• 分布的および精度指標の観点から、温度スケーリング、予測スムージング、学習時スムージングといったキャリブレーション手法と多ラベル学習を比較する。

実験結果

リサーチクエスチョン

• RQ1 NLIタスクにおいて、モデル予測ラベル分布の事後キャリブレーションにより、人間ラベル分布とのKLダイバージェンスを低減できるか？
• RQ2 固定されたラベル付け予算下で、1つの学習例に複数の人のラベルを組み込むことで、ラベル分布推定と予測精度の両方を向上させられるか？
• RQ3 温度スケーリングやラベルスムージングといった異なるキャリブレーション手法は、精度を向上させないまま分布的指標をどれほど改善できるか？
• RQ4 多ラベル学習の有効性は、1例あたりのラベル数や、複数回ラベル付けする例の選定戦略に依存するか？
• RQ5 JSD や KL ダイバージェンスといった分布的指標は、曖昧なNLI例における実際の予測精度と相関するか？

主な発見

• 温度スケーリングによる事後キャリブレーションにより、ChaosSNLIにおける予測分布と人間ラベル分布のKLダイバージェンスは約50%低減（0.468から0.281に）されたが、精度は向上しなかった。
• 100例（1例あたり5ラベル）の多ラベル例を用いた学習により、ChaosSNLIにおけるKLダイバージェンスは0.203、JSDは0.183にまで低下し、すべてのキャリブレーション手法を上回った。
• 多ラベル学習により、ChaosSNLIでは新しいゴールドラベルにおける精度が0.690から0.740に、ChaosMNLIでは0.646から0.690に向上したが、キャリブレーション手法では精度向上が見られなかった。
• ラベルスムージングにより、帰納的または矛盾ラベルへの最小確率がベースラインの0.02から0.06に上昇したが、多ラベル学習では0.04にまで上昇し、よりバランスの取れた予測が得られた。
• 多ラベル学習の利点は、RoBERTaおよびALBERTという異なるモデルアーキテクチャ、および5、10、20ラベルのラベル数のすべてにおいて一貫しており、ハイパーパrameter選択に対して感受性が低いことが示された。
• 曖昧さや難易度に基づいて例を選択しても、その効果は限定的で、学習が容易な例は最も効果が低かったが、全体的な影響は小さかった。