[論文レビュー] Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers

Hanjie Chen, Yangfeng Ji|arXiv (Cornell University)|Oct 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 55被引用数 5

ひとこと要約

本稿では、変分推論を用いてニューラルテキスト分類器における不要またはノイジーな語彙特徴を抑圧することにより、タスク固有のグローバルな語の重要度を学習する、Variational Word Masks（Vmask）を提案する。CNN、LSTM、BERTなどのモデルの入力層にVmaskを統合することで、人為的アノテーションや事前知識を必要とせず、予測精度と解釈可能性の両方を向上させ、7つのベンチマークデータセットで優れた局所的およびグローバルな説明品質を達成する。

ABSTRACT

To build an interpretable neural text classifier, most of the prior work has focused on designing inherently interpretable models or finding faithful explanations. A new line of work on improving model interpretability has just started, and many existing methods require either prior information or human annotations as additional inputs in training. To address this limitation, we propose the variational word mask (VMASK) method to automatically learn task-specific important words and reduce irrelevant information on classification, which ultimately improves the interpretability of model predictions. The proposed method is evaluated with three neural text classifiers (CNN, LSTM, and BERT) on seven benchmark text classification datasets. Experiments show the effectiveness of VMASK in improving both model prediction accuracy and interpretability.

研究の動機と目的

• 人為的アノテーションや事前知識に依存せずに、タスク固有のグローバルな語の重要度を学習することで、ニューラルテキスト分類器の解釈可能性を向上させること。
• 後処理による説明手法の限界（解釈可能性を向上させられないこと）を克服するため、解釈可能性をモデル学習プロセスに直接組み込むこと。
• 微分可能で学習可能なマスキング機構を用いることで、モデルに依存しない方法として、予測性能と説明の整合性を両方向上させること。
• 同じアーキテクチャを持つモデルでも解釈可能性に顕著な差が生じることを示し、その差をVmaskによって体系的に改善できることを示すこと。

提案手法

• Vmaskは語埋め込み層の直後に挿入され、語マスク上の変分後確率分布を学習して、不要またはノイジーな特徴を抑圧する。
• 情報ボトルネック（IB）フレームワーク内に定式化され、入力語とモデル予測の相互情報量を最小化しつつ予測情報は保持するように、変分近似が用いられる。
• 変分推論を用いてIB目的関数の下界が導出され、モデルとVmaskのパラメータを同時にエンドツーエンドで学習可能になる。
• 各トークンの語マスクは、微分可能ゲートでパrameter化されたベルヌーイ分布からサンプリングされ、マスキングプロセスを介してバックプロパゲーションが可能になる。
• モデルのコア構造を変更せずに、CNN、LSTM、BERTの3つのアーキテクチャに適用可能であり、モデルに依存しない。
• 局所的およびグローバルな解釈可能性を評価するために、LIMEとSP-LIMEを用いて後処理による説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションが不要な微分可能で学習可能なマスキング機構は、ニューラルテキスト分類器の解釈可能性を向上させることができるか？
• RQ2 Vmaskによるタスク固有の語の重要度学習は、標準モデルと比較してより忠実で信頼性の高い後処理による説明をもたらすか？
• RQ3 Vmaskは、低重要度または高頻度語への依存を減らしながら、予測精度をどの程度向上させるか？
• RQ4 Vmaskは、多様なアーキテクチャ（CNN、LSTM、BERT）およびテキスト分類タスクに効果的に適用可能か？

主な発見

• Vmaskは7つのベンチマークデータセットすべてで予測精度を向上させ、IMDB、Subj、Yelpでは顕著な向上を示し、一般化性能とロバストネスの向上を示した。
• Vmaskベースのモデルの後処理LIME説明では、常にセンチメントキーワード（例：'excellent'、'brilliant'、'thrilling'）が強調されたが、ベースモデルは'plot'や'to'のような無関係な語を選択した。
• SP-LIMEによるグローバル重要度分析では、Vmaskベースのモデルはトピック関連語（例：'favorite'、'powerful'）のみを選択したのに対し、ベースモデルは'semantically irrelevant'な語（例：'performances' や 'butcher'）を強調した。
• 語の頻度とVmask重要度のピアソン相関は有意でなく、Vmaskが単に高頻度語を優先しているわけではないことを確認した。
• 語のクラウド可視化では、Vmaskが選択した語はタスクに意味的に整合的であった（例：センチメントタスクでは'funnest'、ニュースタスクでは'spaceport'）のに対し、IBAベースラインは無関係な語（例：'undress' や 'slurred'）を選択した。
• 語マスクの期待値から、センチメント語、たとえ低頻度語（例：'craveable' や 'funnest'）であっても、高いマスク値（>0.8）を示した一方、高頻度語はマスク値が約0.5に近かった。これは意味のある特徴に選択的かつ的確に注目していることを示している。