[論文レビュー] Self-interpretable Convolutional Neural Networks for Text Classification

Wei Zhao, Rahul Singh+3 more|arXiv (Cornell University)|May 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 10被引用数 4

ひとこと要約

この論文は、ReLUベースの深層ニューラルネットワーク（DNN）から導出された局所線形モデルを活用することで、テキスト分類用の自己解釈可能な畳み込みニューラルネットワーク（CNN）を提案する。これらの局所線形モデルを最大プーリング層を介して元のn-gramに戻すことで、分類精度を標準CNNと同等に保ちながら、スパースで解釈可能な特徴表現を生成する。

ABSTRACT

Deep learning models for natural language processing (NLP) are inherently complex and often viewed as black box in nature. This paper develops an approach for interpreting convolutional neural networks for text classification problems by exploiting the local-linear models inherent in ReLU-DNNs. The CNN model combines the word embedding through convolutional layers, filters them using max-pooling, and optimizes using a ReLU-DNN for classification. To get an overall self-interpretable model, the system of local linear models from the ReLU DNN are mapped back through the max-pool filter to the appropriate n-grams. Our results on experimental datasets demonstrate that our proposed technique produce parsimonious models that are self-interpretable and have comparable performance with respect to a more complex CNN model. We also study the impact of the complexity of the convolutional layers and the classification layers on the model performance.

研究の動機と目的

• 自然言語処理におけるディープラーニングモデルのブラックボックス性を解消し、性能を損なわずに内在的な解釈可能性を実現すること。
• ReLU-DNNからの局所線形近似を元のテキストn-gramに再マッピングする手法を開発し、モデルの解釈を可能とすること。
• 畳み込み層および分類層のモデルの複雑さと解釈可能性の間のトレードオフを評価すること。
• 競争力ある分類精度を維持しつつ、簡潔で自己解釈可能なモデルを構築すること。

提案手法

• ReLUベースの深層ニューラルネットワークに内在する局所線形性を活用し、予測に対する局所的な説明を生成する。
• 標準的なCNNアーキテクチャで最大プーリングを適用し、単語埋め込みから顕著なn-gram特徴を抽出する。
• 最終全結合層からの局所線形モデルを最大プーリング操作を逆方向に伝播させることで、影響力のあるn-gramを同定する。
• バックマッピングされた局所線形係数に基づき、最も関連性の高いn-gramのみを選択することで、自己解釈可能なモデルを構築する。
• 標準的なCNN学習手順を用い、ReLU活性化関数を保持することで、エンドツーエンドの微分可能性を維持する。
• 最終分類層にスパarsity誘導機構を導入し、簡潔な特徴選択を促進する。

実験結果

リサーチクエスチョン

• RQ1 ReLU-DNNからの局所線形モデルを効果的に元のn-gramに再マッピングすることで、解釈可能なテキスト分類モデルを構築できるか？
• RQ2 畳み込み層および分類層の複雑さが、モデルの性能と解釈可能性に与える影響は何か？
• RQ3 自己解釈可能なCNNが、標準的な非解釈可能なCNNと同等の性能を達成できる範囲はどの程度か？
• RQ4 特徴選択におけるスパarsityが、テキスト分類におけるモデルの精度と解釈可能性に与える影響は何か？

主な発見

• 提案手法は、ベンチマークテキスト分類データセットにおいて、標準CNNと同等の分類性能を達成した。
• バックマッピングされた局所線形モデルを用いて、予測に寄与する主要なn-gramを同定することで、スパースで自己解釈可能な表現を生成した。
• 畳み込み層および分類層の複雑さを低減すると、モデル性能と解釈可能性の間でトレードオフが生じるが、最適な設定が特定された。
• DNNからの局所線形近似を効果的に元のn-gramに再マッピングし、モデル意思決定の直接的な解釈を可能にした。
• 自己解釈可能なモデルは高い精度を維持しながら、標準的なブラックボックスCNNと比較して著しく透明性が向上した。
• 最終層におけるスパarsityは、予測性能に顕著な損失を伴わず解釈性を向上させたことから、本手法の実用性が裏付けられた。