[論文レビュー] When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis

Zhe Liu, Yufan Guo+1 more|arXiv (Cornell University)|Jun 2, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用数 5

ひとこと要約

この論文では、説明可能な特徴量を用いて誤ったモデル予測を特定する、人間を含むループ型の誤検出フレームワークを提案する。グローバル特徴量の重要度評価とローカル特徴量の寄与分析を組み合わせることで、最小限の人的作業で未学習データにおいて高精度な誤検出を達成し、トップ100予測における精度で不確実性サンプリングを11ポイント上回る。

ABSTRACT

Although deep neural networks have been widely employed and proven effective in sentiment analysis tasks, it remains challenging for model developers to assess their models for erroneous predictions that might exist prior to deployment. Once deployed, emergent errors can be hard to identify in prediction run-time and impossible to trace back to their sources. To address such gaps, in this paper we propose an error detection framework for sentiment analysis based on explainable features. We perform global-level feature validation with human-in-the-loop assessment, followed by an integration of global and local-level feature contribution analysis. Experimental results show that, given limited human-in-the-loop intervention, our method is able to identify erroneous model predictions on unseen data with high precision.

研究の動機と目的

• 展開済みの感情分析モデルにおける誤った予測を、それが被害を及える前に特定すること。
• インスタンスレベルの人的ラベル付けに依存するのを減らし、グローバル特徴量レベルでの人的評価を可能にすること。
• なぜ予測が失敗したかを説明可能な解釈を提供することで、モデルの説明責任を高めること。
• 従来の不確実性サンプリングが失敗する高信頼度予測においても、誤りを事前に検出できること。
• 真のラベルが不要なまま、未学習データに一般化可能なスケーラブルで効率的な誤検出を可能にすること。

提案手法

• まず、データの摂動を用いて各インスタンスごとのローカル特徴量寄与度を計算し、特徴量が予測に与える影響を測定する。
• テストセット全体にわたるローカル寄与度を集約し、一貫して影響力のある特徴量を特定するグローバル特徴量重要度スコアを算出する。
• 人間のアノテーターが、上位のグローバル特徴量が感情ラベルに対して関連しているかどうかを評価し、無関係または誤解を招くとされる特徴量をマークする。
• グローバル特徴量の関連度とローカル予測の信頼度を組み合わせ、しきい値に基づくマーキング機構を用いて誤りスコアを計算する。
• インスタンスレベルではなく特徴量レベルでの人的ループによる検証を活用することで、アノテーション負荷を削減する。
• グローバル分析とローカル分析を統合することで、モデルの信頼度が高くても誤りを検出可能となる。

実験結果

リサーチクエスチョン

• RQ1 最小限の人的介入で、感情分析モデルの誤った予測をどのように検出できるか。
• RQ2 グローバル特徴量レベルでの人的評価は、インスタンスレベルのラベリングに比べて、誤検出の効率性と正確性において優れているか。
• RQ3 不確実性サンプリングが見逃す誤り、特に高信頼度予測における誤りを、このフレームワークは検出できるか。
• RQ4 グローバル特徴量の関連度とローカル予測寄与度の統合は、モデルの失敗を特定するのにどの程度有効か。
• RQ5 このフレームワークは、問題のあるグローバル特徴量を通じてモデルバイアスを検出できるか。

主な発見

• 提案手法は、K=100における82.0%のprecision@Kを達成し、不確実性サンプリングの71.0%を顕著に上回った。
• K=400では、両手法の精度差がわずか0.6%に縮まり、しきい値を緩和した場合の収益の減少が顕著になった。
• フレームワークが検出した誤ったインスタンスの約40%が、予測確率0.7以上の高信頼度であったため、モデルが非常に自信を持っている場合でも誤りを検出できることを示した。
• 専門外のアノテーターを含む人間の評価者間でも、グローバル特徴量の関連度評価において高い一貫性（評価者間一致）を示し、特徴量レベルのラベリングの実現可能性を裏付けた。
• フレームワークは、『netflix』『dems』『palestine』といった問題のあるグローバル特徴量が否定的センチメントと誤って関連付けられていることを明確に特定した。
• 真のラベルが不要なまま、未学習データに対しても誤りを事前に検出可能であり、継続的なモデル改善を支援する。