[論文レビュー] Interpretable Text Classification Using CNN and Max-pooling

Hao Cheng, Xiaoqing Yang+3 more|arXiv (Cornell University)|Oct 14, 2019

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本稿では、畳み込み帰属とn-gram特徴解析を用いて入力トークンの予測への寄与を追跡する解釈可能メカニズムを備えたCNNベースのテキスト分類モデルを提案する。最先端の性能を達成するとともに、可視化とトレーニングサンプルとのパターンマッチングを通じて、人間が読みやすい詳細なモデル意思決定の説明を可能にする。

ABSTRACT

Deep neural networks have been widely used in text classification. However, it is hard to interpret the neural models due to the complicate mechanisms. In this work, we study the interpretability of a variant of the typical text classification model which is based on convolutional operation and max-pooling layer. Two mechanisms: convolution attribution and n-gram feature analysis are proposed to analyse the process procedure for the CNN model. The interpretability of the model is reflected by providing posterior interpretation for neural network predictions. Besides, a multi-sentence strategy is proposed to enable the model to beused in multi-sentence situation without loss of performance and interpret ability. We evaluate the performance of the model on several classification tasks and justify the interpretable performance with some case studies.

研究の動機と目的

• 特にCNNベースのモデルにおいて、深層ニューラルネットワーク分類器の解釈可能性の欠如に取り組む。
• 入力トークン、学習されたn-gram特徴、最終的な予測の間のポイントワイズな関連を確立する。
• パフォーマンスや解釈可能性を損なわずに、複数文の文脈における解釈を可能にする。
• ケーススタディと予測寄与度の可視化を通じて、解釈可能性を検証する。
• トレーニングサンプルへの判断根拠のトレースにより、誤分類の原因を特定・分析する。

提案手法

• 畳み込み帰属は畳み込み演算を分解し、各単語ベクトル値がn-gram特徴に与える寄与度を計算する。
• n-gram特徴の解析は、マックスプーリング操作を逆方向にたどることで、特定のn-gram特徴と最終的分類意思決定との関連を特定する。
• 複数文の重み付け戦略は、複数の文の表現を統合しつつ、解釈可能性を保持する。
• モデルは1次元畳み込みを用い、複数のカーネルサイズで単語ベクトル列内の局所的n-gramパターンを検出する。
• 解釈可能性は、単語レベルの寄与度をターゲットカテゴリにマッピングすることで可視化され、人間が読みやすい説明が可能になる。
• 誤差分析は、予測パターンを類似したトレーニングサンプルと照合することで、誤った特徴の組み合わせを特定する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのテキスト分類器において、個々の入力トークンが最終予測に与える寄与度をどのように解釈できるか。
• RQ2 CNNモデルにおいて、学習されたn-gram特徴と入力単語ベクトルの間に信頼性のあるリンクを確立できるか。
• RQ3 パフォーマンスを損なわせることなく、複数文テキスト分類における解釈可能性をどのように維持できるか。
• RQ4 特徴レベルの帰属とパターンマッチングを通じて、モデルの意思決定プロセスをどの程度説明できるか。
• RQ5 特定のトレーニングサンプルへの判断根拠のトレースにより、誤分類を特定・診断できるか。

主な発見

• 本モデルは、TRECやその他のベンチマークを含め、テキスト分類タスクにおいて最先端の分類器と同等のパフォーマンスを達成している。
• 畳み込み帰属は、予測に最も寄与する特定の単語を効果的に同定しており、たとえば「technology brand」カテゴリでは「intelligent」が顕著な寄与を示している。
• n-gram特徴解析により、モデルが意味的に意味のあるパターンを学習していることが明らかになった。たとえば「how long」は「NUM」カテゴリを強く示唆する。
• 可視化により、モデルの注目がアテンションメカニズムよりも正確に関連する語を特定しており、はっきりとした集中度を持つ寄与度が得られている。
• トレーニングサンプルとのパターンマッチングにより、低信頼度の予測はしばしば非合理的または誤解を招く特徴の組み合わせに起因することが判明した。
• 複数文戦略はパフォーマンスと解釈可能性を維持しており、長文入力テキストの効果的分析を可能にしている。