[論文レビュー] Improving the Explainability of Neural Sentiment Classifiers via Data Augmentation

Hanjie Chen, Yangfeng Ji|arXiv (Cornell University)|Sep 10, 2019

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本稿では、予測性能を犠牲にせずにニューラルセンチメント分類器の説明可能性を向上させるために、事前に定義されたセンチメント語彙リストと adversarial 例を用いた2つのデータ拡張手法を提案する。実験の結果、LIMEが生成する説明の解釈可能性が、ベンチマークデータセット上でのCNNおよびRNNモデルにおいて、人間評価および自動評価の両面で顕著に向上することが示された。

ABSTRACT

Sentiment analysis has been widely used by businesses for social media opinion mining, especially in the financial services industry, where customers' feedbacks are critical for companies. Recent progress of neural network models has achieved remarkable performance on sentiment classification, while the lack of classification interpretation may raise the trustworthy and many other issues in practice. In this work, we study the problem of improving the explainability of existing sentiment classifiers. We propose two data augmentation methods that create additional training examples to help improve model explainability: one method with a predefined sentiment word list as external knowledge and the other with adversarial examples. We test the proposed methods on both CNN and RNN classifiers with three benchmark sentiment datasets. The model explainability is assessed by both human evaluators and a simple automatic evaluation measurement. Experiments show the proposed data augmentation methods significantly improve the explainability of both neural classifiers.

研究の動機と目的

• 金融分野など、信頼性と実用的導入が求められる分野において、ニューラルセンチメント分類器の説明可能性の欠如が問題となっているため、これを解決すること。
• LIME などのモデルが生成する局所的説明（例：強調キーワード）の解釈可能性を向上させること。
• データ拡張が、性能向上のためのものにとどまらず、モデルの説明可能性向上にも活用可能かどうかを検討すること。
• 人間評価および自動一貫性スコアを用いて、説明可能性向上の有効性を検証すること。

提案手法

• 外部知識（Da-Ek）を用いたデータ拡張を提案：各訓練文に対して、SentiWordNet のセンチメント語彙リストに含まれる語を削除し、極性中立の拡張例を生成する。
• センチメントを保持しつつ語の強調度（salience）を変化させる摂動例を生成する adversarial データ拡張を導入し、モデルの頑健性と説明可能性を向上させる。
• 元のデータと拡張データを組み合わせて分類器を学習させ、モデルがより解釈可能なセンチメント関連特徴に依存するように学習させる。
• LIME を用いて局所的説明を生成し、コサイン類似度に基づく一貫性スコアを計算して、説明品質を自動的に評価する。
• 人間評価を用いて、拡張前後における生成された説明の解釈可能性を評価する。
• 自動評価と人間評価を統合し、一貫性スコアの向上が人間が感じる解釈可能性の向上と相関していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張技術は、予測性能を越えてニューラルセンチメント分類器の説明可能性を向上させることができるか？
• RQ2 データ拡張段階でセンチメント語彙リストを外部知識として組み込むことで、モデルの説明がより解釈可能になるか？
• RQ3 adversarial 例を用いることで、モデルの頑健性と説明の解釈可能性の両方を向上させることができるか？
• RQ4 自動一貫性スコアと人間評価による説明品質の相関は存在するか？
• RQ5 提案手法は分類精度を低下させることなく、説明可能性を向上させることができるか？

主な発見

• 提案手法によるデータ拡張は、人間評価による測定において、CNNおよびRNNの両方のセンチメント分類器の説明可能性を顕著に向上させた。
• Da-Ek および adversarial 拡張を用いて学習したモデルが生成する説明は、ベースラインモデルのものと比較して一貫してより解釈可能であると評価された。
• 自動一貫性スコアは人間評価スコアと正の相関を示し、説明の解釈可能性の代理指標としての有効性が裏付けられた。
• 拡張データで学習したモデルは、『brisk』、『treasure』、『familiar』といった語を肯定的要因として明確に強調する説明を生成した。
• 説明の向上は、複数のデータセットおよびモデルアーキテクチャにわたり一貫しており、一般化可能性が確認された。
• 予測精度に顕著な低下は観察されず、説明可能性の向上が性能の低下を伴わないことが確認された。