[論文レビュー] Text Classification using Capsules

Jaeyoung Kim, Sion Jang+2 more|arXiv (Cornell University)|Aug 12, 2018

Text and Document Classification Technologies参考文献 29被引用数 65

ひとこと要約

本論文はテキスト分類へのカプセルネットワークの適用を検討し、ELUゲートを備えた静的ルーティングバリアントを導入し、CNNのベースラインと比較して7つのベンチマークで競争力のある結果を示した。

ABSTRACT

This paper presents an empirical exploration of the use of capsule networks for text classification. While it has been shown that capsule networks are effective for image classification, their validity in the domain of text has not been explored. In this paper, we show that capsule networks indeed have the potential for text classification and that they have several advantages over convolutional neural networks. We further suggest a simple routing method that effectively reduces the computational complexity of dynamic routing. We utilized seven benchmark datasets to demonstrate that capsule networks, along with the proposed routing method provide comparable results.

研究の動機と目的

• カプセルネットワークがテキスト分類を効果的に行えることを示す。
• テキストデータの動的ルーティングの代替として静的ルーティング バリアントを導入する。
• 空間的文脈を失うことなく関連情報を伝播させる機構としてELU-gateを提案する。
• CNNをベースラインとした7つの標準的なテキスト分類データセットで性能を評価する。

提案手法

• 畳み込みカプセルと最終的なテキストカプセル層を介して文書をベクトルへ写像することで、テキストにカプセルネットワークを適用する。
• プーリングに依存せず、活性化された特徴を選択するゲーティング機構（ELU-gate）を使用する。
• 畳み込みカプセルとテキストカプセル間の2つのルーティング方式を実装する：動的ルーティング（Sabourらと同様）と提案された静的ルーティング。
• 受容野を拡大しプーリングを避けるため、畳み込みカプセル層のカーネルサイズを大きくする。
• 前処理済みのGloVeワードベクトルで学習し、CNNベースラインと比較する。7つのデータセットの正解率を報告する。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークは標準ベンチマークでCNNと比べて競争力のあるテキスト分類精度を達成できるのか？
• RQ2 テキスト分類において静的ルーティングは精度と計算効率の点で動的ルーティングより利点を提供するのか？
• RQ3 アーキテクチャの選択（ELU-gate、大きなカーネルの畳み込みカプセルなど）がテキストデータの性能に与える影響は？
• RQ4 ニュース、感情分析、Q&Aなどの多様なデータセットでカプセルベースのモデルはどのように振る舞うのか？

主な発見

モデル	20news	Reuters10	MR (2004)	MR (2005)	TREC-QA	MPQA	IMDb
CapsNet-dynamic-routing	86.45	86.72	88.1	81.00	93.80	89.60	89.80
CapsNet-static-routing	87.17	87.52	89.6	80.98	94.84	90.57	89.72
CNN-non-static*	86.6	87.4	88.0	81.3	92.7	89.9	90.36

• 動的ルーティングと静的ルーティングの両方を備えたカプセルネットワークは、CNNベースラインと比較して7つのデータセットで競争力のある精度を達成する。
• 評価対象データセットでは静的ルーティングの方が動的ルーティングより一般に高い精度を示す。
• 静的ルーティングはテキスト分類において計算量を削減しつつ、性能を維持または向上させる。
• ELU-gateのアブレーションはゲーティングなしのバリアントより精度が向上し、情報を保持する特徴選択の利点を示している。
• 20news、 Reuters10、 MR(2004)、 MR(2005)、 TREC-QA、 MPQA、 IMDb に対して、CapsNet-static-routing はそれぞれ 87.17、87.52、89.6、80.98、94.84、90.57、89.72 を達成する。一方 CapsNet-dynamic-routing は 86.45、86.72、88.1、81.00、93.80、89.60、89.80、CNN-non-static* は 86.6、87.4、88.0、81.3、92.7、89.9、90.36。