[論文レビュー] Rationale-Augmented Convolutional Neural Networks for Text Classification

Ye Zhang, Iain Marshall+1 more|arXiv (Cornell University)|May 14, 2016

Topic Modeling参考文献 25被引用数 23

ひとこと要約

本稿では、文書レベルのラベルと人間がアノテートした文レベルの根拠（rationale）を統合的に活用することで、テキスト分類性能を向上させる、根拠を補強した畳み込みニューラルネットワーク（RA-CNN）を提案する。根拠の確率推定により文の重要性をモデル化し、それに応じて文の寄与度をスケーリングすることで、5つのデータセットで最先端の性能を達成するとともに、予測に対する解釈可能で根拠に基づく説明を自然に提供する。

ABSTRACT

We present a new Convolutional Neural Network (CNN) model for text classification that jointly exploits labels on documents and their component sentences. Specifically, we consider scenarios in which annotators explicitly mark sentences (or snippets) that support their overall document categorization, i.e., they provide rationales. Our model exploits such supervision via a hierarchical approach in which each document is represented by a linear combination of the vector representations of its component sentences. We propose a sentence-level convolutional model that estimates the probability that a given sentence is a rationale, and we then scale the contribution of each sentence to the aggregate document representation in proportion to these estimates. Experiments on five classification datasets that have document labels and associated rationales demonstrate that our approach consistently outperforms strong baselines. Moreover, our model naturally provides explanations for its predictions.

研究の動機と目的

• 文書レベルのラベルと文レベルの根拠を統合的に活用することで、テキスト分類性能を向上させるニューラルネットワークモデルの開発。
• ブラックボックス型ニューラルモデルの限界を克服し、根拠に基づく説明生成によって解釈可能な予測を可能にする。
• 根拠の監視情報を使用しない既存のCNNおよびSVMベースのベースラインを上回ること。
• 明示的な根拠の重要度モデリングが、長文においてより大きな性能向上をもたらすかどうかの検証。
• 階層的に文書および文レベルの監視情報を統合するスケーラブルでエンドツーエンドのディープラーニングフレームワークの提供。

提案手法

• 各ドキュメントを、その構成文の埋め込みの重み付き線形結合として表現し、重みは学習された根拠確率によって決定される。
• 文レベルの畳み込みネットワークが、各文が根拠である確率を推定する。これは、正例と負例のスコアのソフトマックス層を用いる。
• 各文の最終的ドキュメント表現への寄与度は、その予測された根拠確率によってスケーリングされ、支援的な文が強調される。
• 最終的なドキュメント分類は、重み付き文表現に対する全結合層を用いて実施され、交差エントロピー損失を用いてエンドツーエンドで訓練される。
• モデルは文書レベルのラベルと文レベルの根拠アノテーションの両方を用いて訓練され、正しく分類されるとともに、正確な根拠予測が促進される共同目的関数を用いる。
• アーキテクチャはTheanoおよびKerasで実装されており、再現性のため公開されている。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートした根拠をディープニューラルネットワークに統合することで、標準的なCNNを上回るテキスト分類性能が向上するか？
• RQ2 文レベルの根拠確率をモデル化することで、特に長文においてより良い一般化性能が得られるか？
• RQ3 ニューラルネットワークモデルが根拠抽出を通じて、意味的かつ人間が解釈可能な予測の説明を提供できるか？
• RQ4 RA-CNNの性能は、注意機構を備えたモデルや根拠監視情報を用いたSVMベースの強力なベースラインと比べてどうか？
• RQ5 モデルは、文書長やドメインが異なる多様なテキスト分類タスクにおいても一貫した向上を示すか？

主な発見

• RoBデータセットでは、RA-CNNが90.43%の最先端の正確度を達成し、次に良いベースラインであるRA-SVM（88.89%）を顕著に上回った。
• 映画レビュー・データセットでは、RA-CNNが90.43%の正確度を達成し、次に良いモデルであるAT-CNN（86.69%）を上回った。
• RA-CNNは、5つの評価データセットすべてにおいて、ヴァナイルCNN、Doc-CNN、AT-CNN、複数のSVMバージョンを含むすべてのベースラインモデルを均一に上回った。
• モデルは、文の重要度が顕著に変動する長文において、根拠に基づくアテンションがより大きな性能向上をもたらすことを示した。
• RA-CNNは、分類意思決定を直接支持する文脈的に関連のある根拠を提供した。例えば、「研究はダブルブラインドで実施された」といった根拠は、低リスクバイアス分類において有効であった。
• 定性的な分析により、モデルの解釈可能性が検証され、高得点の根拠が人間がアノテートした支援文と一致した。