[論文レビュー] Improving the Interpretability of Neural Sentiment Classifiers via Data Augmentation.

Hanjie Chen, Yangfeng Ji|arXiv (Cornell University)|Sep 10, 2019

Explainable Artificial Intelligence (XAI)参考文献 55被引用数 10

ひとこと要約

本稿では、解釈可能性を向上させるために、知識ベースのセンチメント語挿入と adversarial 例生成の2つのデータ拡張技術を提案する。センチメントに配慮した摂動を訓練データに組み込むことで、ベンチマークデータセット上で CNN および RNN モデルの解釈可能性が著しく向上し、人間による評価および自動評価によって裏付けられている。

ABSTRACT

Sentiment analysis has been widely used by businesses for social media opinion mining, especially in the financial services industry, where customers' feedbacks are critical for companies. Recent progress of neural network models has achieved remarkable performance on sentiment classification, while the lack of classification interpretation may raise the trustworthy and many other issues in practice. In this work, we study the problem of improving the explainability of existing sentiment classifiers. We propose two data augmentation methods that create additional training examples to help improve model explainability: one method with a predefined sentiment word list as external knowledge and the other with adversarial examples. We test the proposed methods on both CNN and RNN classifiers with three benchmark sentiment datasets. The model explainability is assessed by both human evaluators and a simple automatic evaluation measurement. Experiments show the proposed data augmentation methods significantly improve the explainability of both neural classifiers.

研究の動機と目的

• 金融およびソーシャルメディア応用で使用される高精度なニューラルセンチメント分類器における解釈可能性の欠如に対処すること。
• 分類意思決定の明確な説明を可能にすることで、モデルの信頼性を向上させること。
• 訓練データにセンチメント関連の知識や摂動を組み込むデータ拡張戦略を開発すること。
• 異なるニューラルアーキテクチャ（CNN および RNN）におけるこれらの手法の有効性を評価すること。
• 人間評価および自動指標を用いて解釈可能性を評価すること。

提案手法

• 外部知識として事前に定義されたセンチメント語リストを導入し、センチメント強化されたフレーズを有する新しい訓練例の作成を支援する。
• センチメントを保持しつつ表面構造を変更する方法で入力文を摂動することで adversarial 例を生成し、モデルのロバストネスおよび解釈可能性を向上させる。
• 両方の拡張手法を訓練中に適用し、3つのベンチマークセンチメントデータセット上で CNN および RNN モデルを微調整する。
• 人間評価と自動指標の組み合わせを用いて、モデルの解釈可能性向上を測定する。
• 拡張された例が意味的およびセンチメント的に一貫性を保ちつつ、訓練データに多様性をもたらすようにする。
• 拡張データで訓練したモデルを、拡張なしのベースラインモデルと比較して、解釈可能性のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 知識ベースのデータ拡張は、ニューラルセンチメント分類器の解釈可能性を向上させることができるか？
• RQ2 adversarial 例は、センチメント分類におけるモデルの解釈可能性をどの程度向上させるか？
• RQ3 これらの拡張手法は、CNN や RNN などの異なるニューラルアーキテクチャでどのように機能するか？
• RQ4 両方の手法を組み合わせることで、単独で使用する場合よりも高い解釈可能性が得られるか？
• RQ5 自動評価指標は、人間の判断を信頼性高く反映できるか？

主な発見

• 提案されたデータ拡張手法は、CNN および RNN センチメント分類器の両方の解釈可能性を著しく向上させた。
• 人間評価者により、拡張データで訓練されたモデルはベースラインモデルよりも解釈しやすかったと評価された。
• 自動評価指標は、人間の判断と整合的な向上を示した。
• 知識ベースおよび adversarial 拡張手法の両方が、モデルの透明性向上に寄与した。
• これらの向上は、実験で使用された3つのベンチマークセンチメントデータセットすべてで観察された。
• 両手法を組み合わせることで、単独での使用よりも顕著な解釈可能性の向上が得られた。