[論文レビュー] Information Aggregation via Dynamic Routing for Sequence Encoding

Jingjing Gong, Xipeng Qiu+2 more|arXiv (Cornell University)|Jun 5, 2018

Text and Document Classification Technologies被引用数 44

ひとこと要約

この論文は、可変長シーケンス表現を固定長ベクトルに圧縮するダイナミックルーティングベースの集約（DR-AGG）メカニズムを提案し、五つのデータセットにおいて pooling や self-attention を上回るテキスト分類性能を実現します。標準および逆方向のルーティングポリシーを提示し、文書レベルおよび文レベルのタスクで高精度を示します。

ABSTRACT

While much progress has been made in how to encode a text sequence into a sequence of vectors, less attention has been paid to how to aggregate these preceding vectors (outputs of RNN/CNN) into fixed-size encoding vector. Usually, a simple max or average pooling is used, which is a bottom-up and passive way of aggregation and lack of guidance by task information. In this paper, we propose an aggregation mechanism to obtain a fixed-size encoding with a dynamic routing policy. The dynamic routing policy is dynamically deciding that what and how much information need be transferred from each word to the final encoding of the text sequence. Following the work of Capsule Network, we design two dynamic routing policies to aggregate the outputs of RNN/CNN encoding layer into a final encoding vector. Compared to the other aggregation methods, dynamic routing can refine the messages according to the state of final encoding vector. Experimental results on five text classification tasks show that our method outperforms other aggregating models by a significant margin. Related source code is released on our github page.

研究の動機と目的

• 単語レベルのエンコーディングを固定サイズのテキスト表現へ効果的に集約する方法を動機づけ、改善する。
• Capsule Networks に触発されたダイナミックルーティング集約メカニズムを提案する。
• 標準および逆方向のポリシーでダイナミックルーティングを pooling や self-attention と比較する。
• 階層的ルーティングを通じて長文にもスケーラブルであることを示し、複数データセットで検証する。

提案手法

• BiLSTM で単語をエンコードしてフレーズレベルの表現を得る。
• 入力カプセルから出力カプセルへ情報を伝達するダイナミックルーティング（DR-AGG）を導入する。
• m_{i→j} を c_{ij}f(h_i, θ_j) で計算し、サッシュ非線形性を用いて出力カプセル v_j を更新する。
• v_j と f(h_i, θ_j) の一致度を用いてルーティング係数 c_{ij} を反復的に refined する。
• 出力カプセルを連結して予測の固定長エンコーディング e を作成する。
• 情報受信を出力カプセルが導くように、逆方向 DR-AGG を探索する。
• 単語レベルと文レベルでルーティングを行い、長い文書を扱う階層的ダイナミックルーティングを適用する。

実験結果

リサーチクエスチョン

• RQ1 可変長の単語エンコーディングを固定長のシーケンス表現へ効果的に集約するにはどうすればよいか？
• RQ2 ダイナミックルーティングポリシーは pooling や self-attention と比べて情報伝達を改善するか？
• RQ3 標準と逆方向のダイナミックルーティングが性能に与える影響は何か？
• RQ4 階層的 DR-AGG は長文へ効率的にスケールし、精度を損なうことなく機能するか？

主な発見

Model	Yelp-2013	Yelp-2014	IMDB	SST-1	SST-2
Max pooling	61.1	61.2	41.1	48.0	87.0
Average pooling	60.7	60.6	39.1	46.2	85.2
Self-attention	61.0	61.5	43.3	48.2	86.4
Standard DR-AGG	62.1	63.0	45.1	50.5	87.6
Reverse DR-AGG	61.6	62.5	44.5	49.3	87.2

• DR-AGG は 5 つのデータセット全体で max pooling、average pooling、self-attention を上回る。
• document レベルの Yelp-2013、Yelp-2014、IMDB データセットで、DR-AGG は従来最良モデルよりそれぞれ 2.5%、3.0%、1.6% の改善を達成。
• SST-1 および SST-2 でも DR-AGG はベースラインと比較して優れた結果を示す。
• 標準の DR-AGG は一般に Reverse DR-AGG より上回り、入力から出力への情報ルーティングが有効であることを示唆する。
• ルーティング反復回数が約 3 回程度で、さまざまなカプセル構成で最適な性能を示す。
• 可視化により、異なるカプセルが文の異なる側面を特化して扱い、情報の冗長性を減らすことが分かった。