[論文レビュー] Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification

Madhusudan Lakshmana, Sundararajan Sellamanickam+2 more|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 31被引用数 5

ひとこと要約

この論文では、Word2VecおよびSentiWordNet埋め込みを用いてk-gramをクラスタリングすることで、文書分類のための意味的に整合性があり再利用可能な畳み込みカーネルを学習する手法を提案する。本手法は、アテンション可視化によりモデルの解釈性を向上させるとともに、カーネルの再利用によって学習時間を著しく削減でき、カーネル再利用時においては90%の短縮が達成され、最先端水準に近い性能を実現する。

ABSTRACT

The state-of-the-art CNN models give good performance on sentence classification tasks. The purpose of this work is to empirically study desirable properties such as semantic coherence, attention mechanism and reusability of CNNs in these tasks. Semantically coherent kernels are preferable as they are a lot more interpretable for explaining the decision of the learned CNN model. We observe that the learned kernels do not have semantic coherence. Motivated by this observation, we propose to learn kernels with semantic coherence using clustering scheme combined with Word2Vec representation and domain knowledge such as SentiWordNet. We suggest a technique to visualize attention mechanism of CNNs for decision explanation purpose. Reusable property enables kernels learned on one problem to be used in another problem. This helps in efficient learning as only a few additional domain specific filters may have to be learned. We demonstrate the efficacy of our core ideas of learning semantically coherent kernels and leveraging reusable kernels for efficient learning on several benchmark datasets. Experimental results show the usefulness of our approach by achieving performance close to the state-of-the-art methods but with semantic and reusable properties.

研究の動機と目的

• 意味的に関連するフレーズ（例：'liked such movies' や 'loved this film'）に反応する意味的に整合性のあるカーネルを学習することで、文書分類におけるモデルの解釈性を向上させること。
• 予測の意思決定に寄与する顕著な語を特定・可視化する可視化技術を提案し、意思決定の説明を強化すること。
• 事前学習済みカーネルが類似した自然言語処理タスク間で再利用可能であることを調査・実証し、学習時間を短縮すること。
• 意味的整合性を保ちつつ、柔軟なフィルタの数を制御可能な形で設定することで、モデル性能と解釈性のバランスをとること。

提案手法

• Word2VecとSentiWordNet埋め込みを組み合わせた距離関数を用いて、学習コーパスからのk-gramをクラスタリングし、意味的に整合性のあるグループを形成する。
• 各クラスタに対してパラメータ化された畳み込みカーネルを定義し、ソフトマックス分類器層と同時に学習する。
• 最大プーリングされたカーネル出力に基づく語スコアリング方式を提案し、入力文における注目された語（アテンション重み付き）を特定・可視化する。
• IMDBなどのデータセットで事前学習したカーネルを、MRやSST-1などの別のデータセットに再利用し、分類器層のみをファインチューニングする。
• 意味的に整合性のあるカーネルに、少数（10%または25%）の柔軟なフィルタを追加するハイブリッドアプローチを導入し、性能を向上させつつ解釈性を完全に損なわないようにする。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける畳み込みカーネルを、'liked such movies' や 'loved this film' のような意味的に関連するフレーズに反応する意味的に整合性のあるものとして学習可能か？
• RQ2 文のどの語がモデルの予測意思決定に最も寄与しているかを可視化・解釈するにはどうすればよいか？
• RQ3 あるテキスト分類タスクで学習したカーネルが、類似した別のタスクに再利用可能である程度はどの程度か？
• RQ4 意味的に整合性のあるカーネルに少数の柔軟なフィルタを追加した場合、モデル性能と解釈性のトレードオフはどのように変化するか？

主な発見

• 意味的に整合性のあるカーネルを用いたWkAモデルは、最先端のCNN-Sモデルに近い性能を達成し、MRデータセットで78.77%、IMDBで89.17%の精度を達成した。
• わずか10%の柔軟なフィルタを追加したことで、WkAモデルのSST-1における精度は43.30%に向上し、CNN-Sとの性能差を縮小しつつも解釈性を維持した。
• IMDBで学習したカーネルをMR、SST-1、SST-2に再利用した結果、73.78%～89.17%の精度を達成し、類似タスク間での強い汎用性を示した。
• SST-1でWkAカーネルを再利用した場合、学習時間は約2時間（完全学習時）からわずか2分に短縮され、1桁の高速化が達成された。
• 可視化技術により、'loved' や 'best' といった顕著な語が正しく強調された。これは、モデルの注目が人間が理解可能な感情的キーワードと一致していることを確認した。