[論文レビュー] An Empirical Exploration of Skip Connections for Sequential Tagging

Huijia Wu, Jiajun Zhang+1 more|arXiv (Cornell University)|Oct 11, 2016

Topic Modeling参考文献 30被引用数 9

ひとこと要約

本論文は、順序付きタギングのための深層スタック型双方向LSTMにゲート付きアイデンティティスキップ接続をセル出力に導入する手法を提案し、ゲートや内部状態へのスキップ接続よりも優れた性能を示している。この手法はCCGスーパー�ttaggingでSOTA（94.67％のテスト精度）を達成し、POSタギングでも競争力のある性能（97.45％）を示しており、最適な深さは7〜9層である。

ABSTRACT

In this paper, we empirically explore the effects of various kinds of skip connections in stacked bidirectional LSTMs for sequential tagging. We investigate three kinds of skip connections connecting to LSTM cells: (a) skip connections to the gates, (b) skip connections to the internal states and (c) skip connections to the cell outputs. We present comprehensive experiments showing that skip connections to cell outputs outperform the remaining two. Furthermore, we observe that using gated identity functions as skip mappings works pretty well. Based on this novel skip connections, we successfully train deep stacked bidirectional LSTM models and obtain state-of-the-art results on CCG supertagging and comparable results on POS tagging.

研究の動機と目的

• 深層スタック型双方向LSTMにおける異なるスキップ接続タイプの順序付きタギングタスクへの影響を調査すること。
• スタックされたLSTMレイヤー内でのスキップ接続の最適な配置場所—ゲート、内部状態、またはセル出力—を特定すること。
• アイデンティティ、シグモイド、ゲート付きアイデンティティなどのさまざまなスキップマッピング関数の有効性を評価すること。
• 深層順序付きタギングにおける最良のアーキテクチャ構成（特に深さとスキップ接続設計）を同定すること。
• 提案されたアーキテクチャがCCGスーパー�ttaggingやPOSタギングといった異なる順序付きタギングタスクに一般化可能かどうかを実証すること。

提案手法

• ネットワーク内の下位レイヤーの出力を上位レイヤーにスキップ接続を追加したスタック型双方向LSTMを採用する。
• 3種類のスキップ接続タイプを検討：入力ゲートへの接続、内部セル状態への接続、セル出力への接続。
• ゲート付きアイデンティティ関数を導入し、スキップ接続を学習可能なシグモイドゲートで制御する：$ g_t = \sigma(W_g h_{t-1}^{l} + U_g h_t^{l-2}) $。
• 特に最高性能を示した構成においては、忘れゲートバイアスを0に設定して性能を向上させた。
• CCGスーパー�ttaggingおよびPOSタギングの両タスクに同一のモデルアーキテクチャとハイパーパrameterを適用し、再チューニングを行わなかった。
• 入力特徴として単語埋め込みと文字埋め込みを用い、それらを連結して深層LSTMネットワークに供給した。

実験結果

リサーチクエスチョン

• RQ1 スタック型双方向LSTMにおけるLSTMブロック内のどの位置—ゲート、内部状態、またはセル出力—がスキップ接続によって最も利益を受けるか？
• RQ2 アイデンティティ、シグモイド、ゲート付きアイデンティティなどの異なるスキップマッピング関数は、深層順序付きタギングにおけるモデル性能にどのように影響するか？
• RQ3 性能と学習安定性の観点から、スキップ接続付きスタック型双方向LSTMの最適な深さは何か？
• RQ4 同一のアーキテクチャと共有されたハイパーパrameterで、複数の順序付きタギングタスクでSOTA結果を達成できるか？
• RQ5 標準的なスキップ接続やスキップ接続なしと比較して、ゲート付きアイデンティティスキップ接続は学習および一般化性能を向上させるか？

主な発見

• ゲート付きアイデンティティマッピングをセル出力に適用したスキップ接続が、CCGbankスーパー�ttaggingデータセットで最高のテスト精度94.67％を達成した。
• ゲートなしの内部状態へのスキップ接続（開発精度94.33％）は、ゲートありのもの（94.24％）を上回り、内部状態ルーティングには非ゲート接続がより効果的である可能性を示唆した。
• バイアス$ b_f = 0 $を伴うゲート付きアイデンティティ関数が最良の性能を示し、CCGbankでは開発精度94.51％、テスト精度94.67％を達成した。
• ゲートなしのアイデンティティマッピング（94.02％）はゲート付きバージョンより性能が悪く、最適な性能を発揮するには学習可能なゲートが不可欠であることを示した。
• 同じアーキテクチャを用いてPOSタギングでも97.45％のテスト精度を達成し、タスク固有のチューニングなしでSOTA性能を示した。これは、一般化性能が優れていることを示している。
• スタック型モデルの最適な深さは7〜9レイヤーであった。11レイヤーでは性能が低下し、深さと学習安定性のトレードオフが生じていることが示された。