[論文レビュー] Explaining and Improving Model Behavior with k Nearest Neighbor Representations

Nazneen Fatema Rajani, Ben Krause+4 more|arXiv (Cornell University)|Oct 18, 2020

Bayesian Modeling and Causal Inference参考文献 40被引用数 28

ひとこと要約

この論文では、自然言語推論（NLI）におけるNLPモデルの挙動の解釈と向上を図るために、深層ニューラルネットワークの隠れ表現上にk近傍法（kNN）を適用することを提案している。テスト入力と最も類似する訓練例を検索することで、予測の説明、誤った相関関係の特定、誤標籤データの同定、モデルの頑健性の向上が可能となり、モデルパラメータの更新なしに、敵対的で拡張されたNLIデータセットにおいて最先端の性能を達成している。

ABSTRACT

Interpretability techniques in NLP have mainly focused on understanding individual predictions using attention visualization or gradient-based saliency maps over tokens. We propose using k nearest neighbor (kNN) representations to identify training examples responsible for a model's predictions and obtain a corpus-level understanding of the model's behavior. Apart from interpretability, we show that kNN representations are effective at uncovering learned spurious associations, identifying mislabeled examples, and improving the fine-tuned model's performance. We focus on Natural Language Inference (NLI) as a case study and experiment with multiple datasets. Our method deploys backoff to kNN for BERT and RoBERTa on examples with low model confidence without any update to the model parameters. Our results indicate that the kNN approach makes the finetuned model more robust to adversarial inputs.

研究の動機と目的

• 個々の予測の説明を超えて、スケールに応じたモデルに依存しないNLPモデル挙動の解釈手法を開発すること。
• kNNによる訓練例の検索を用いて、NLIデータセットにおける誤った相関関係や誤標籤例を同定・診断すること。
• 微調整済みモデルが不確実な場合にkNNの予測にバックオフすることで、モデルの頑健性を向上させること。
• kNN近傍解析を通じて、顕著な影響力を持つ訓練例を同定することにより、コーパスレベルの解釈可能性を提供すること。
• kNNによる表現上での意思決定境界が、単独の深層モデルに比べて優れているかどうかを示すこと、特に敵対的入力において顕著である。

提案手法

• 微調整済みBERTおよびRoBERTaモデルの隠れ表現に対してkNNを適用し、各テスト入力に対して最も類似するk個の訓練例を検索する。
• 推論時に信頼度のしきい値を用いて、モデルの予測を使用するか、kNNの予測にバックオフするかを決定する。
• FAISSを用いたベクトル検索により、kNNは計算的に効率的であり、大規模データセットへのスケーラビリティを実現している。
• 誤分類例のkNN検索を用いて、誤った相関関係のパターンや潜在的な誤標籤訓練例を明らかにする。
• SNLI、MNLI、ANLI、HANSを含む複数のNLIデータセットに、句読点や語彙的パターンの微細な分析を加えたアブレーションを実施して適用する。
• kNNの予測とモデルの予測を補間することで、一般化性能と頑健性を向上させ、特に困難な例において有効である。

実験結果

リサーチクエスチョン

• RQ1 隠れ表現上のkNNは、コーパスレベルでのスケーラブルでモデルに依存しないNLPモデル挙動の解釈手法として有効であるか？
• RQ2 kNNは、モデルの失敗を引き起こす誤った相関関係や誤標籤例を効果的に特定できるか？
• RQ3 kNNの予測にバックオフすることで、敵対的および分布外の例においてモデルの頑健性が向上するか？
• RQ4 kNNは、モデルが特定の予測をした理由を説明する訓練例を検索でき、注意メッシュやサリエンシー図よりも忠実な解釈可能性を提供できるか？
• RQ5 kNNは、特に困難なデータや拡張されたデータにおいて、NLIベンチマークでの性能をどの程度向上させるか？

主な発見

• kNNバックオフは、拡張SNLIおよびANLIにおいて顕著な性能向上を示し、BERTはそれぞれF1が0.95および0.96に達し、標準的な微調整済みモデルを上回った。
• HANSベンチマークでは、kNNによりRoBERTaの「非含意」クラスのF1が52.7%から54.7%に向上し、頑健性の向上が明確に示された。
• 誤分類例のkNN検索は頻繁に誤標籤訓練例を同定でき、データ品質の診断が可能となった。
• kNNモデルは、ベースモデルに比べてより細かく粒度の細かい意思決定境界を学習しており、予測を反転させるような微小な摂動に対してもより頑健であった。
• 小規模データセットでは影響関数に比べて約300倍の高速化を達成し、データセットが大きくなるに従い、さらに高速化が進んだ。
• 可視化結果から、kNNの予測は、否定や部分列一致などの構文的・語彙的パターンにおいて、人間がアノテートした根拠とより一致することが明らかになった。