[論文レビュー] Model Explainability in Deep Learning Based Natural Language Processing

Shafie Gholizadeh, Nengfeng Zhou|arXiv (Cornell University)|Jun 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 10

ひとこと要約

この論文は、深層学習ベースのNLPモデルにおける説明可能性のためのレイヤー単位の関係性伝播（LRP）を評価し、単語ごとの局所的関係性スコアの割り当てとグローバル特徴量の重要度の特定にその有効性を示している。研究では、Yelpセンチメントデータ上で誤検出および誤検出の分析を用いて、モデルの弱みを特定する観点から、勾配ベースおよび順列ベースの手法と比較してLRPが優れていることを示している。

ABSTRACT

Machine learning (ML) model explainability has received growing attention, especially in the area related to model risk and regulations. In this paper, we reviewed and compared some popular ML model explainability methodologies, especially those related to Natural Language Processing (NLP) models. We then applied one of the NLP explainability methods Layer-wise Relevance Propagation (LRP) to a NLP classification model. We used the LRP method to derive a relevance score for each word in an instance, which is a local explainability. The relevance scores are then aggregated together to achieve global variable importance of the model. Through the case study, we also demonstrated how to apply the local explainability method to false positive and false negative instances to discover the weakness of a NLP model. These analysis can help us to understand NLP models better and reduce the risk due to the black-box nature of NLP models. We also identified some common issues due to the special natures of NLP models and discussed how explainability analysis can act as a control to detect these issues after the model has been trained.

研究の動機と目的

• NLPにおけるモデルの説明可能性手法を評価・比較すること、特に規制およびリスク管理の目的を想定して行う。
• レイヤー単位の関係性伝播（LRP）をテキスト分類モデルに適用し、局所的およびグローバルな特徴量の重要度スコアを導出すること。
• 説明可能性分析を用いて、誤検出および誤検出の予測におけるモデルの弱みを特定すること。
• 説明可能性を用いて、OoV語、代理変数、バイアスといったNLP特有の問題を後処理の制御手段として特定すること。
• 説明可能性が高リスクのNLPアプリケーションにおけるモデルの透明性を向上させ、リスクを低減する方法を示すこと。

提案手法

• 訓練済みのNLP分類器（YelpセンチメントデータセットにおけるSVM）にLRPを適用し、個々の予測における単語ごとの関係性スコアを計算する。
• すべてのインスタンスにわたる局所的関係性スコアを集約して、モデル全体のグローバル特徴量の重要度を導出する。
• 誤検出および誤検出の予測を分析するためにLRPを用い、誤解を招くまたは誤った特徴量を特定する。
• 相関係数および性能への影響度の指標を用いて、LRPと勾配ベース、順列ベース、SHAPの説明可能性手法を比較する。
• ベースライン比較およびアブレーションテストとして、LRPスコアに基づいて上位ランクのトークンを削除し、性能低下の度合いを測定する。
• トレーニングデータと評価データにおける関係性スコアの相関を評価し、一貫性および頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 LRPは、勾配ベース、順列ベース、SHAPなどの他の説明可能性手法と比較して、NLPモデルにおける影響力のある語を同定する上でどの程度優れているか？
• RQ2 LRPは、誤検出および誤検出の予測におけるモデルの弱みをどの程度明らかにできるか？
• RQ3 トレーニングデータと評価データの間で関係性スコアはどの程度安定しているか？これはモデルの信頼性にどのような含意を持つのか？
• RQ4 説明可能性分析を通じて、OoV語、代理変数、または人種的・文化的バイアスといった一般的なNLP特有の問題を同定できるか？
• RQ5 説明可能性指標は、データ品質やバイアスに関連するモデル欠陥を検出するための後処理の制御手段として機能できるか？

主な発見

• LRPは、特にモデルの誤りを検出する観点で、勾長ベースおよび順列ベースの手法を上回った。
• LRP順位上位10%のトークンを削除したことで再現率が最大に低下し、それらが予測に強く寄与していることが示された。
• トレーニングデータと評価データからの関係性スコアは高い相関を示した（特にLRPとSVM順列手法において）。これは特徴量の重要度の一貫性を示唆している。
• GbSAは他の手法と低い相関を示し、特徴量の割り当てに不安定性がある可能性を示唆している。
• 説明可能性分析は、非英語語の語に依存している、OoV語、および人種的代理変数といった問題的なパターンを効果的に特定した。
• 本研究では、説明可能性が、特に規制環境下において、トレーニング後のモデルリスクを検出するための重要な制御メカニズムとして機能できることを確認した。