[論文レビュー] Interpreting Deep Learning Models in Natural Language Processing: A Review

Xiaofei Sun, Diyi Yang+7 more|arXiv (Cornell University)|Oct 20, 2021

Topic Modeling参考文献 216被引用数 25

ひとこと要約

本調査は、ニューラルNLPモデルの解釈手法に関する包括的な分類と実証的レビューを提供し、トレーニングベース、テストベース、およびハイブリッドアプローチを網羅し、現在の課題と今後の方向性を論じる。

ABSTRACT

Neural network models have achieved state-of-the-art performances in a wide range of natural language processing (NLP) tasks. However, a long-standing criticism against neural network models is the lack of interpretability, which not only reduces the reliability of neural NLP systems but also limits the scope of their applications in areas where interpretability is essential (e.g., health care applications). In response, the increasing interest in interpreting neural NLP models has spurred a diverse array of interpretation methods over recent years. In this survey, we provide a comprehensive review of various interpretation methods for neural models in NLP. We first stretch out a high-level taxonomy for interpretation methods in NLP, i.e., training-based approaches, test-based approaches, and hybrid approaches. Next, we describe sub-categories in each category in detail, e.g., influence-function based methods, KNN-based methods, attention-based models, saliency-based methods, perturbation-based methods, etc. We point out deficiencies of current methods and suggest some avenues for future research.

研究の動機と目的

• ニューラルNLPモデルの解釈手法の高レベルな分類法を提供する。
• 代表的な手法を含む、トレーニングベース・テストベース・ハイブリッド解釈技法を調査する。
• 今後の研究を導くために、制限・課題・未解決の問題を論じる。
• 効率的なインフルエンス関数の実装やランドマークベースの手法など、実践的な発展を強調する。

提案手法

• トレーニング指向とテスト指向の2次元分類と、結合型(joint) vs. 後付け(post-hoc) interpretationを定義する。
• トレーニングベースのサブカテゴリの詳細: インフルエンス関数、KNNベースの解釈、およびカーネルベースの説明。
• テストベースのサブカテゴリの詳細: サリエンシーマップ、アテンションベースの説明、および説明生成。
• トレーニングとテストの視点を組み合わせたハイブリッドアプローチを説明する。
• 代表的な研究と、それらが分類にどのように適合するかを示す。
• 結合型実装と後付け実装を比較し、説明的な枠組み（例: アテンションを結合として、後付けプローブ）を提示する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルNLPモデルの解釈手法の主要な分類とサブカテゴリは何か？
• RQ2 トレーニング志向・テスト志向・ハイブリッド手法は、それぞれの目的と機構でどのように異なるか？
• RQ3 各カテゴリー内の長所・限界・代表的手法は何か？
• RQ4 ニューラルNLPの解釈性における未解決問題と今後の研究方向は何か？

主な発見

• 本論文は、ニューラルNLPの解釈可能性手法の包括的な分類を提供し、トレーニングベース・テストベース・ハイブリッドアプローチを区別している。
• インフルエンス関数、KNNベースの手法、およびカーネルベースの説明が、議論された主要なトレーニングベースの技術である。
• サリエンシーマップ、アテンションベースの説明、および説明生成が、レビューされるコアなテストベースの手法である。
• 効率的な実装（例: turn-over dropout とアルゴリズム最適化）は、インフルエンス関数ベースの解釈を大幅に加速し、最大80倍のスピードアップを達成する。
• ランドマークベースの解釈は、Layer-wise Relevance Propagationとカーネルアーキテクチャを組み合わせて説明とテンプレートを生成し、結合型と後付けの解釈を可能にする。
• 本調査は現在の手法の欠点を強調し、ニューラルNLP解釈可能性の信頼性と適用性を向上させるための未解決問題と今後の研究方向を概説する。