[論文レビュー] Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data

Maxime Darrin, Pablo Piantanida+1 more|arXiv (Cornell University)|Dec 18, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、内部モデル状態へのアクセスが不要なブラックボックス型の分布外（OOD）検出フレームワーク「RAINPROOF」を提案する。この手法は、内部状態にアクセスせずに分布シフトを検出可能なソフト確率分布を用いる。また、LOFTERと呼ばれる現実的で包括的なOOD検出ベンチマークを導入し、従来の検出器とは異なり、有害なOODサンプルのみをフィルタリングすることでエンドタスク性能を向上させることを示した。

ABSTRACT

Implementing effective control mechanisms to ensure the proper functioning and security of deployed NLP models, from translation to chatbots, is essential. A key ingredient to ensure safe system behaviour is Out-Of-Distribution (OOD) detection, which aims to detect whether an input sample is statistically far from the training distribution. Although OOD detection is a widely covered topic in classification tasks, most methods rely on hidden features output by the encoder. In this work, we focus on leveraging soft-probabilities in a black-box framework, i.e. we can access the soft-predictions but not the internal states of the model. Our contributions include: (i) RAINPROOF a Relative informAItioN Projection OOD detection framework; and (ii) a more operational evaluation setting for OOD detection. Surprisingly, we find that OOD detection is not necessarily aligned with task-specific measures. The OOD detector may filter out samples well processed by the model and keep samples that are not, leading to weaker performance. Our results show that RAINPROOF provides OOD detection methods more aligned with task-specific performance metrics than traditional OOD detectors.

研究の動機と目的

• 内部モデル状態やOOD学習データへのアクセスを必要としない、実用的でブラックボックス型のOOD検出手法の開発。
• 高ボキャブラリーなトークン空間のため、分類タスクから派生した従来の手法が不適切であるため、条件付きテキスト生成におけるOOD検出のギャップを埋める。
• 標準的な英語GLUEベンチマークを超えて、言語シフト（例：スペイン語からカタラニア語）やドメインシフト（例：医療文書からニュース記事）を含む、より現実的な評価ベンチマークの構築。
• OOD検出をエンドタスク性能と整合させ、実運用環境におけるモデルの信頼性を損なわず、むしろ向上させる。
• OOD検出は検出指標のみで評価すべきではなく、下流タスクの性能と併せて評価すべきであることを示す。

提案手法

• RAINPROOFは相対的情報射影（RIP）を用いて、予測されたソフト確率分布と参照分布、または一様分布との乖離に基づくノベルティスコアを計算する。
• 参照データが存在しない状況（s₀）では、予測分布のネガエントロピーを正規性の指標として計算する。
• 参照データが存在する状況（s₁）では、情報射影を用いてモデルの出力分布とデータ駆動型の参照セットを比較する。
• フレームワークは完全に自己教師ありであり、ソフト確率出力のみに依存するため、API経由で任意の事前学習済み言語モデルに容易に統合可能である。
• しきい値の選定は、インハウスサンプルの99％を保持するように制御することで、OODデータに依存しない。
• スコアはトークン生成の平均化により集約され、検出に不可欠なシーケンスレベルの不確実性を保持する。

実験結果

リサーチクエスチョン

• RQ1 内部モデル表現へのアクセスがなく、内部状態にアクセスせずにソフト確率出力のみを用いて、テキスト生成におけるOOD検出を効果的に行うことは可能か？
• RQ2 エンドタスク性能を向上させるOOD検出は存在するのか、それとも従来の検出器は良好に生成された出力を誤ってフィルタリングすることで性能を低下させるのか？
• RQ3 言語シフト（例：オランダ語からアフリカーンス語）やドメインシフト（例：医療文書からニュース記事）は、テキスト生成におけるOOD検出性能にどのように影響を与えるか？
• RQ4 検出性能とエンドタスク性能を併せて測定することで、OOD検出器の運用的価値をよりよく反映できる統一された評価フレームワークは可能か？
• RQ5 OOD検出を純粋にOOD検出AUCではなく、タスク固有のメトリクスと整合させる手法は存在するか？

主な発見

• RAINPROOFは、MSP や CQE といった従来のOOD検出器よりも、OOD検出AUCおよび下流タスクのBLEUスコアで優れた性能を示した。特に言語シフトのシナリオで顕著であった。
• LOFTERベンチマークにおいて、s₀設定下で、言語シフトタスク（例：オランダ語からアフリカーンス語）において平均で+5.4 BLEUポイントのBLEUスコア向上を達成した。
• MSP などの従来の検出器は、OOD環境下で最大-3.1ポイントのBLEUスコア低下を示し、良好に生成された出力まで誤ってフィルタリングしていることが判明した。
• RAINPROOFではネガエントロピーと情報射影の組み合わせにより、参照データがなくても効果的な検出が可能であり、s₀シナリオでも高い性能を発揮した。
• 本研究では、重大な不整合が判明した：高AUCを示すOOD検出器であっても、エンドタスク性能を損なう可能性がある。これにより、下流メトリクスと併せての評価の重要性が浮き彫りになった。
• インハウスサンプルの99％を保持するようにしきい値を設定する手法は、実用的かつ効果的であり、キャリブレーション段階でOODデータを必要としなかった。