[論文レビュー] EDUCE: Explaining model Decisions through Unsupervised Concepts Extraction

Diane Bouchacourt, Ludovic Denoyer|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 31被引用数 14

ひとこと要約

EDUCEは、入力テキストから意味的に整合性のある無教師の概念を自動で発見することで、テキスト予測を自己解釈可能に説明する深層学習モデルである。入力を、概念の有無を示すバイナリーベクトルに符号化する。この符号化は、微分可能で意味的制約のある抜粋文を介して学習される。予測性能が高く、テキスト分類およびマルチアスペクトセンチメントタスクにおける概念レベルの解釈可能性によって、人間が理解可能な説明を可能にする。

ABSTRACT

Providing explanations along with predictions is crucial in some text processing tasks. Therefore, we propose a new self-interpretable model that performs output prediction and simultaneously provides an explanation in terms of the presence of particular concepts in the input. To do so, our model's prediction relies solely on a low-dimensional binary representation of the input, where each feature denotes the presence or absence of concepts. The presence of a concept is decided from an excerpt i.e. a small sequence of consecutive words in the text. Relevant concepts for the prediction task at hand are automatically defined by our model, avoiding the need for concept-level annotations. To ease interpretability, we enforce that for each concept, the corresponding excerpts share similar semantics and are differentiable from each others. We experimentally demonstrate the relevance of our approach on text classification and multi-sentiment analysis tasks.

研究の動機と目的

• 予測を自動で発見された人間が理解可能な概念を通じて説明する自己解釈可能なモデルを開発すること。
• 完全に無教師の方法で関連する概念を学習することで、手動による概念アノテーションの必要性を排除すること。
• 各概念の抽出抜粋文間に意味的整合性と分離性を強制することで、解釈可能性を保証すること。
• 発見された概念の有無にのみ依存することで、高い予測精度を維持すること。
• テキスト分類およびマルチアスペクトセンチメント分析を含む多様なNLPタスクにおいて、本手法の有効性を実証すること。

提案手法

• モデルは入力テキストを、各次元が発見された概念の有無を表す低次元のバイナリーベクトルに符号化する。
• 概念は、複数の入力間で意味的に整合的で重複のない抜粋文（小さな語の列）を同定することで、無教師で学習される。
• 同じ概念のための抜粋文が類似した意味を持つように、他の概念の抜粋文とは異なるようにするため、微分可能で概念の整合性と分離性を制約する損失関数が適用される。
• 予測は、バイナリーベクトルに基づいて単一に行われるため、入力にどの概念が存在するかを明確に解釈可能に示せる。
• 標準的な予測損失（交差エントロピーまたはMSE）と補助的な概念整合性損失を併用して、エンドツーエンドでモデルを訓練する。
• 各概念ごとに関連する語の列を強調する勾配ベースのアテンションメカニズムを用いて、入力から抜粋文が抽出される。

実験結果

リサーチクエスチョン

• RQ1 教師なしの概念アノテーションを必要とせずに、深層学習モデルがテキスト内で意味的に意味のある解釈可能な概念を自動で発見できるか？
• RQ2 このような無教師の概念の有無が、信頼性があり解釈可能な根拠として、正確な予測に役立つだろうか？
• RQ3 各概念の抽出された抜粋文が、多様な入力において一貫性があり明確に区別された意味的意味を持つ程度はどの程度か？
• RQ4 高い解釈可能性を維持しながら、最先端のモデルと比較して予測性能はどの程度か？
• RQ5 本モデルは、アスペクトレベルのセンチメント分析のようなマルチアスペクト予測タスクに一般化可能か？意味的に根拠のある概念の接地が可能か？

主な発見

• EDUCEは、BeerAdvocateデータセットにおけるマルチアスペクト回帰タスクでテストMSE 0.0119を達成した。これはフルテキストベースラインの0.0089よりもやや高いが、概念の正確度は92.8%であった。
• アスペクトレベルのセンチメント予測では、Concept 7が『外観』アスペクトのゴールラティオナールアノテーションで97.09%の精度を達成し、人間アノテートの根拠と強い一致を示した。
• Concept 7のための抽出された抜粋文は、ビールの外観に関連するもの（例：'good head and lacing'、'beautiful golden-amber color'）が大部分を占めており、意味的整合性が確認された。
• モデルは高い解釈可能性を示した。概念は意味的に整合性のある抜粋文によって一貫して説明され、例としてConcept 2（口当たりに関連）では'creamy and a/ chewy and rich'といった表現が使用された。
• AGNewsテキスト分類データセットでは、EDUCEは競争力のある性能を示したとともに、概念の有無に基づく説明を提供した。
• 補足実験では、本手法が画像入力に対しても一般化可能であることが示され、NLPを越えた幅広い応用可能性が示唆された。