[論文レビュー] Multichannel CNN with Attention for Text Classification

Zhenyu Liu, Haiwei Huang+2 more|arXiv (Cornell University)|Jun 29, 2020

Topic Modeling参考文献 30被引用数 18

ひとこと要約

本稿では、テキスト分類のためのアテンションベースのマルチチャネル畳み込みニューラルネットワーク（AMCNN）を提案する。このモデルは、双方向LSTMによる符号化とスカラーアテンションおよびベクトルアテンションを組み合わせ、単語レベルおよび特徴レベルの重要度を捉えるマルチチャネル表現を生成する。本モデルは、強化された意味的豊かさと耐性を備えたn-gram特徴を効果的に抽出することで、ベンチマークデータセット上で最先端の手法を上回る性能を発揮する。

ABSTRACT

Recent years, the approaches based on neural networks have shown remarkable potential for sentence modeling. There are two main neural network structures: recurrent neural network (RNN) and convolution neural network (CNN). RNN can capture long term dependencies and store the semantics of the previous information in a fixed-sized vector. However, RNN is a biased model and its ability to extract global semantics is restricted by the fixed-sized vector. Alternatively, CNN is able to capture n-gram features of texts by utilizing convolutional filters. But the width of convolutional filters restricts its performance. In order to combine the strengths of the two kinds of networks and alleviate their shortcomings, this paper proposes Attention-based Multichannel Convolutional Neural Network (AMCNN) for text classification. AMCNN utilizes a bi-directional long short-term memory to encode the history and future information of words into high dimensional representations, so that the information of both the front and back of the sentence can be fully expressed. Then the scalar attention and vectorial attention are applied to obtain multichannel representations. The scalar attention can calculate the word-level importance and the vectorial attention can calculate the feature-level importance. In the classification task, AMCNN uses a CNN structure to cpture word relations on the representations generated by the scalar and vectorial attention mechanism instead of calculating the weighted sums. It can effectively extract the n-gram features of the text. The experimental results on the benchmark datasets demonstrate that AMCNN achieves better performance than state-of-the-art methods. In addition, the visualization results verify the semantic richness of multichannel representations.

研究の動機と目的

• RNNが長期依存関係を捉えることの制限と、固定フィルタ幅によるn-gram特徴抽出の制限を解消するため。
• RNNベースのモデルが語順を二次的とみなす意味的曖昧性を解消するため、アテンションメカニズムを統合するため。
• スカラーアテンションとベクトルアテンションを用いたマルチチャネルモデリングにより、特徴表現の多様性と耐性を向上させるため。
• 双方向LSTM、アテンションメカニズム、畳み込み特徴抽出の長所を統合することで、テキスト分類性能を向上させるため。

提案手法

• 各単語の過去および未来の文脈を高次元表現に符号化するため、双方向LSTMを用いる。
• スカラーアテンションを適用して単語レベルの重要度重みを計算し、意味的に重要な単語に注目する。
• ベクトルアテンションを用いて特徴レベルの重要度を計算し、情報量に応じて隠れ状態次元ごとに異なる学習率を割り当てる。
• スカラーアテンションとベクトルアテンションの出力を組み合わせることでマルチチャネル表現を生成し、文の意味論的解釈の多様な視点を可能にする。
• 可変フィルタサイズを備えたCNNを、重み付き和の代わりにマルチチャネル表現からのn-gram特徴を抽出するために適用する。
• 最終分類のため、マックスプーリングと全結合層を用い、隠れサイズ、チャネル数、フィルタサイズ、特徴マップ数などのハイパーパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 スカラーアテンションとベクトルアテンションをマルチチャネル表現と組み合わせることで、単一アテンションまたは単一チャネルモデルを上回るテキスト分類性能が達成可能か？
• RQ2 双方向LSTMとアテンション、CNNの統合が、特徴抽出と意味的表現の向上にどのように寄与するか？
• RQ3 マルチチャネルモデリングは、テキスト分類タスクにおける耐性および一般化性能をどの程度向上させるか？
• RQ4 隠れサイズ、チャネル数、フィルタサイズ、特徴マップ数といったハイパーパrameterの最適な設定は何か？

主な発見

• AMCNNは、MPQA、SST-2、MR、Subjといったベンチマークデータセットで最先端の性能を達成し、既存手法を上回る。
• MPQA、SST-2、MRデータセットでは3チャネルが最適であり、Subjデータセットでは4チャネルが最適であることが判明し、最適なチャネル数はデータセットによって異なることが示された。
• 隠れサイズが128まで増加すると分類精度が向上するが、以降はパフォーマンスが安定化または低下するため、アンダーフィッティングとオーバーフィッティングのトレードオフが生じている。
• フィルタサイズが4〜8の範囲で、パフォーマンスとパrameter効率のバランスが最適となり、より大きなフィルタサイズでは改善がほとんど見られない。
• 特徴マップ数を増やすと初期段階で精度が向上するが、パrameter数の増加に伴いオーバーフィッティングが発生し、ある点を過ぎるとパフォーマンスが安定化する。
• ベクトルアテンションメカニズムにより、特徴の選択的チューニングが可能になり、隠れ状態の摂動を通じてモデルの耐性が向上した。