[論文レビュー] Out-of-Distribution Detection and Selective Generation for Conditional Language Models

Jie Ren, Jiaming Luo+5 more|arXiv (Cornell University)|Sep 30, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、モデルの埋め込みを用いて、条件付き言語モデル（CLM）向けに軽量で高精度な分布外（OOD）検出手法を提案する。自己回帰的生成が誤りを拡大し、低品質な出力を生じるOOD入力に対する信頼性の低いモデル行動という重要な問題に取り組み、OOD入力では出力を控えることで選択的生成を可能にし、要約や翻訳タスクにおける実用的展開における安全性と信頼性を向上させる。

ABSTRACT

Machine learning algorithms typically assume independent and identically distributed samples in training and at test time. Much work has shown that high-performing ML classifiers can degrade significantly and provide overly-confident, wrong classification predictions, particularly for out-of-distribution (OOD) inputs. Conditional language models (CLMs) are predominantly trained to classify the next token in an output sequence, and may suffer even worse degradation on OOD inputs as the prediction is done auto-regressively over many steps. Furthermore, the space of potential low-quality outputs is larger as arbitrary text can be generated and it is important to know when to trust the generated output. We present a highly accurate and lightweight OOD detection method for CLMs, and demonstrate its effectiveness on abstractive summarization and translation. We also show how our method can be used under the common and realistic setting of distribution shift for selective generation (analogous to selective prediction for classification) of high-quality outputs, while automatically abstaining from low-quality ones, enabling safer deployment of generative language models.

研究の動機と目的

• 条件付き言語モデル（CLM）における分布外（OOD）入力に対する信頼性の低いモデル行動という重要な問題に対処すること。特に、自己回帰的生成が誤りを拡大し、低品質な出力を生じる点に焦点を当てる。
• 別個のモデルを必要とせず、CLMの内部表現（埋め込み）のみを活用する、軽量で高精度なOOD検出手法を開発すること。
• 分布外入力では出力を控え、ドメイン内または近縁ドメイン入力では高品質な出力を生成する選択的生成を可能にすることにより、実用的応用における安全性と信頼性を向上させること。
• 要約タスクにおける品質評価を含み、CLMにおけるOOD検出と選択的生成のための堅牢な評価フレームワークを確立すること。

提案手法

• CLMの隠れ状態から得られる入力シーケンス埋め込み（入力RMD）と出力シーケンス埋め込み（出力RMD）間のコサイン類似度に基づく新しいOODスコアを提案する。
• 入力および出力シーケンスのL2正規化された表現の平均を、分布の乖離の代理として用い、RMD（表現平均距離）スコアを形成する。
• 分布シフト下でも性能が向上するよう、RMDスコアとパープレキシティを組み合わせたハイブリッド検出戦略を導入する。
• OODスコアが学習済みのしきい値を超える場合にはモデルが生成を控えるという選択的生成メカニズムを採用し、分類における選択的予測に類似した挙動を実現する。
• 人間による品質評価ラベルを用いて性能を検証するため、抽象的要約（XSum）および機械翻訳（WMT）の両タスクで手法を訓練および評価する。
• ドメイン内データを用いてOODしきい値をキャリブレーションし、出力を控える割合と出力品質のバランスを保ち、安全な展開を実現する。

実験結果

リサーチクエスチョン

• RQ1 パープレキシティは、条件付き言語モデルにおける分布外入力の検出に信頼できる信号として機能するか？
• RQ2 モデルの埋め込みのみに依存する軽量なOOD検出手法は、既存のベースラインと比較してどの程度効果的か？
• RQ3 パープレキシティと埋め込みベースのOODスコアを組み合わせることで、分布シフト下でも検出性能が向上するか？
• RQ4 分布外入力では出力を控えるという選択的生成は、実用的環境下で生成出力の品質をどの程度向上させ得るか？
• RQ5 要約タスクにおいて、人間による品質評価ラベルは自動OODスコアおよび品質スコアとどの程度相関しているか？

主な発見

• パープレキシティはCLMにおけるOOD検出信号として不適切であり、ドメイン内とOODの分布に著しい重複が見られ、偽陽性率が高くなる。
• 入力および出力埋め込みを用いた提案されたRMDベースのOODスコアは、要約および翻訳タスクの両方でパープレキシティや他のベースラインを著しく上回るOOD例検出性能を達成する。
• RMDスコアとパープレキシティを組み合わせることで、特に分布シフト下でも選択的生成の性能が向上し、高品質な出力を得るとともに、低品質な生成を削減できる。
• 計算オーバーヘッドをほとんど増加させることなく、OOD検出の高精度を達成しており、CLMの内部表現のみを必要とする。
• 人間による評価では、低RMDスコアと高品質な要約との間に強い相関が確認され、本手法が信頼できる生成を特定できることを裏付けた。
• 選択的生成戦略により、OOD入力に対する事実誤認や意味のない出力の生成が効果的に削減され、モデルの安全性と信頼性が向上した。