[論文レビュー] iCapsNets: Towards Interpretable Capsule Networks for Text Classification

Zhengyang Wang, Hu Xia+1 more|arXiv (Cornell University)|May 16, 2020

Topic Modeling参考文献 31被引用数 7

ひとこと要約

本稿では、局所的および包括的解釈可能性を実現するための新しい解釈可能なキャプセルネットワーク、iCapsNetsを提案する。このモデルは、キャプセルベースの意味的モデリングと学習可能なマルチヘッドアテンション機構を用いて、分類精度を高く保ちながら、個々の予測およびモデル全体の挙動について人間が理解できる説明を提供する。iCapsNetsは、7つのデータセットのうち4つでベースラインを上回る競争力のある分類精度を達成している。

ABSTRACT

Many text classification applications require models with satisfying performance as well as good interpretability. Traditional machine learning methods are easy to interpret but have low accuracies. The development of deep learning models boosts the performance significantly. However, deep learning models are typically hard to interpret. In this work, we propose interpretable capsule networks (iCapsNets) to bridge this gap. iCapsNets use capsules to model semantic meanings and explore novel methods to increase interpretability. The design of iCapsNets is consistent with human intuition and enables it to produce human-understandable interpretation results. Notably, iCapsNets can be interpreted both locally and globally. In terms of local interpretability, iCapsNets offer a simple yet effective method to explain the predictions for each data sample. On the other hand, iCapsNets explore a novel way to explain the model's general behavior, achieving global interpretability. Experimental studies show that our iCapsNets yield meaningful local and global interpretation results, without suffering from significant performance loss compared to non-interpretable methods.

研究の動機と目的

• 高い精度が伴うがモデルの透明性に欠けるテキスト分類分野における、解釈可能なディープラーニングモデルの重要なニーズに対応する。
• 意味的理解を欠く伝統的なモデル（例：bag-of-words）やブラックボックスとして機能するディープラーニングモデル（例：RNN、CNN）の限界を克服する。
• テキスト分類に適応されたキャプセルネットアーキテクチャを構築し、個々のサンプルの説明（局所的解釈可能性）とモデル全体の挙動の説明（包括的解釈可能性）の両方を可能にする。
• 性能と解釈可能性のギャップを埋め、競争力ある精度を維持しながら、意味的で人間が理解できる説明を可能にする。
• 意味的関連性とモデル意思決定プロセスを反映する形で、キャプセル活性化とアテンション重みを解釈するための新規手法を導入する。

提案手法

• キャプセルネットワーク（CapsNets）をコンピュータビジョン分野からテキスト分類に適応させ、キャプセル間のダイナミックルーティングにより意味的意味をモデル化する。
• 表現学習の向上と解釈可能性の強化のため、学習可能なマルチヘッドアテンション層を統合し、顕著な語句や語群特徴を強調する。
• 順序構造を保持するために、1次元畳み込み層を用いてキャプセル層に供給する前に局所的n-gram特徴を抽出する。
• 入力として単語埋め込みを用い、プライマリキャプセルが埋め込み空間内でスパースで意味的に明確な表現を学習する。
• アテンション機構を活用して語句や語群に重要度スコアを割り当て、予測に寄与する主要要因を特定することで、局所的解釈可能性を実現する。
• t-SNEを用いてキャプセルクエリを可視化し、スパースで意味的に多様な分布であることを示し、包括的解釈可能性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、解釈可能性を保ちつつ、テキスト分類に効果的に適応可能か？
• RQ2 1つの予測ごとに、最も影響力のある語や語群を特定することで、キャプセルベースモデルにおける局所的解釈可能性をどのように達成できるか？
• RQ3 全データセットにわたる学習済みキャプセル表現とアテンションパターンを分析することで、包括的解釈可能性を達成できるか？
• RQ4 提案されたiCapsNetsモデルは、非解釈可能なディープラーニングモデルと比較して、どの程度競争力ある分類精度を維持できるか？
• RQ5 アテンション機構とキャプセルルーティングが、テキスト分類タスクにおいて性能と解釈可能性の両方を向上させることができるか？

主な発見

• iCapsNetsは7つのベンチマークテキスト分類データセットで最先端または競争力ある精度を達成し、FastText、D-LSTM、CapsNetsなど12のベースラインのうち4つでそれを上回った。
• AG’s Newsデータセットでは、iCapsNets Shortが99.0％のテスト精度を達成し、元のCapsNetsおよびFastTextベースラインを上回った。
• プライマリキャプセルクエリのt-SNE可視化から、埋め込み空間にスパースで明確に分離された分布が観察され、キャプセルが異なる意味的概念を学習していることが示された。
• アテンション重みとキャプセル活性化を用いてキーワードや語群を強調することで、局所的解釈可能性が効果的に達成され、予測の根拠となる人間が読める理由づけが得られた。
• 学習済みキャプセル表現を分析することで、包括的解釈可能性が実証され、データセット全体にわたり、異なるキャプセルが異なる意味的特徴に特化していることが明らかになった。
• 解釈可能性機構を組み込んでも、iCapsNetsは性能の損失を最小限に抑え、char-VDCNN や D-LSTM といった非解釈可能なモデルと同等の高い精度を維持した。