[論文レビュー] Investigating Capsule Networks with Dynamic Routing for Text Classification

Wei Zhao, Jianbo Ye+4 more|arXiv (Cornell University)|Mar 29, 2018

Text and Document Classification Technologies参考文献 22被引用数 101

ひとこと要約

本論文は、テキスト分類のための3つのルーティング安定化戦略を備えたカプセルネットワークを提案し、6つのベンチマークで競争力のある結果を示し、特に単一ラベルからマルチラベルへの転送タスクで顕著な改善を示す。

ABSTRACT

In this study, we explore capsule networks with dynamic routing for text classification. We propose three strategies to stabilize the dynamic routing process to alleviate the disturbance of some noise capsules which may contain "background" information or have not been successfully trained. A series of experiments are conducted with capsule networks on six text classification benchmarks. Capsule networks achieve state of the art on 4 out of 6 datasets, which shows the effectiveness of capsule networks for text classification. We additionally show that capsule networks exhibit significant improvement when transfer single-label to multi-label text classification over strong baseline methods. To the best of our knowledge, this is the first work that capsule networks have been empirically investigated for text modeling.

研究の動機と目的

• テキストを部分-全体の関係としてモデル化し、従来のCNN/RNN表現を超えてインスタンス化パラメータを保持するために、カプセルネットワークの利用を動機づける。
• 背景語のノイズを減らすための動的ルーティングの安定化戦略を開発する。
• 事前学習済み単語埋め込みを用いて、Capsule-AおよびCapsule-Bアーキテクチャを6つのテキスト分類ベンチマークで評価する。
• 特にReutersデータセットで、単一ラベルからマルチラベルのテキスト分類における頑健性と転送能力を示す。

提案手法

• 局所的なテキスト特徴を抽出するためにn-gram畳み込み層を使用する。
• スカラー検出器をベクターカプセルに置換し、4層アーキテクチャ（プライマリ、畳み込みカプセル、全結合カプセル）とする。
• 3つの安定化戦略（オーファンカテゴリ、リーキーソフトマックス、係数修正）を用いた動的ルーティングを採用する。
• 2つのカプセルアーキテクチャ（Capsule-AとCapsule-B）を実験し、6つのデータセットにわたって強力なベースラインと比較する。
• 事前学習済みWord2Vec埋め込みを用いて訓練し、Adam最適化と3回のルーティング反復を使用する。

実験結果

リサーチクエスチョン

• RQ1 動的ルーティングを備えたカプセルネットワークは、従来のCNN/LSTMのベースラインよりテキスト分類性能を改善できるか？
• RQ2 安定化戦略（オーファンカテゴリ、リーキーソフトマックス、係数修正）は、テキストデータ中の背景語からのノイズを削減するか？
• RQ3 Capsule-Bは、マルチグラム入力構成によってCapsule-Aより優れているか？
• RQ4 カプセルネットワークは、単一ラベルからマルチラベルのテキスト分類タスクへどの程度転送できるか？

主な発見

• カプセルネットワークは6つのベンチマークのうち4つで最良の結果を達成し、さまざまなテキスト分類タスクで競争力のある性能を示す。
• Capsule-Bは一貫してCapsule-Aを上回り、よりリッチな特徴を捉えるために複数のn-gram入力（3,4,5）を使用しているためと考えられる。
• 3つのルーティング安定化戦略が、ノイズの多いカプセルに対するルーティングの頑健性を総合的に向上させる。
• Reutersデータセットのマルチラベル転送では、カプセルネットワークは強力なベースラインに対して顕著な改善を示し、特に訓練データとして単一ラベルのみが利用可能な場合に顕著である。
• ルーティング反復回数（3）は、より少ない反復と比較して収束を速め、最終損失を低くする。
• アブレーション研究により、いずれかの安定化成分を除去すると性能が低下することを確認した。