[論文レビュー] Optimal Hyperparameters for Deep LSTM-Networks for Sequence Labeling Tasks

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|Jul 21, 2017

Topic Modeling参考文献 32被引用数 264

ひとこと要約

本論文は、BiLSTMベースのシーケンスラベリングにおけるハイパーパラメータを5つのNLPタスクにわたり系統的に分析し、最も重要な設定を特定し、堅牢な設定推奨を提供します。

ABSTRACT

Selecting optimal parameters for a neural network architecture can often make the difference between mediocre and state-of-the-art performance. However, little is published which parameters and design choices should be evaluated or selected making the correct hyperparameter optimization often a "black art that requires expert experiences" (Snoek et al., 2012). In this paper, we evaluate the importance of different network design choices and hyperparameters for five common linguistic sequence tagging tasks (POS, Chunking, NER, Entity Recognition, and Event Detection). We evaluated over 50.000 different setups and found, that some parameters, like the pre-trained word embeddings or the last layer of the network, have a large impact on the performance, while other parameters, for example the number of LSTM layers or the number of recurrent units, are of minor importance. We give a recommendation on a configuration that performs well among different tasks.

研究の動機と目的

• BiLSTMベースのシーケンスラベリング性能に最も影響を与えるハイパーパラメータとアーキテクチャ拡張を特定する。
• 5つのタスク（POS、Chunking、NER、Entities、Events）にわたる設計 choices の影響を定量化する。
• BiLSTM-CRFモデルの設定に関して実践的でタスクに頑健な推奨を提供する。
• 乱数種とマルチタスク学習設定に対する頑健性を評価する。

提案手法

• 5つのシーケンスタグ付けタスクにわたり50,000を超えるBiLSTMネットワーク構成を評価する。
• BiLSTM-CRF、BiLSTM-CNN-CRF、BiLSTM-LSTM-CRFのアーキテクチャを比較する。
• 単語埋め込み、文字表現、最適化アルゴリズム、勾配処理、タグ付けスキーム、Dropout、層数、ユニット数などのハイパーパラメータを系統的に変化させる。
• ロバスト性を評価するために乱択サンプリングを用い、オプション別の比較を統計検定で提供する。
• 記述統計、ビオリン図、中央値/デルタ分析によって発見を報告する。

実験結果

リサーチクエスチョン

• RQ1 共通のシーケンスラベリングタスクにおいて、どのハイパーパラメータが最も性能に影響を与えるのか？
• RQ2 アーキテクチャの拡張（CRF分類器、文字表現）は一貫して性能を向上させるのか、どの条件下でそうなるのか？
• RQ3 ドメインと言語を跨いだ頑健なBiLSTMベースのシーケンス taggingのための実用的な設定の指針は何か？

主な発見

• 事前学習済み語彙埋め込みはタスクを通じて一貫して最高の性能をもたらす。選択は結果に大きく影響する（例：POSの中央値の差はオプションを比較すると約4.97ポイント）。
• 総再帰ユニット数を中程度に保つ場合、2層のBiLSTMが通常最良の性能を示す；ユニット数そのものの影響は小さい。
• Adam系最適化アルゴリズム（Nesterovモーメンタムを含む、Nadam）はしばしば最高の性能と最も速い収束を提供する；SGDはしばしば収束しない。
• 閾値が約1の勾配正規化は検証性能を顕著に向上させる一方、勾配クリッピングは一貫した効果を示さない。
• 最終層にCRF分類子を用いた場合、強いタグ依存性を持つタスクではSoftmaxより高い検証性能を得やすい；BIO taggingはIOBより優れ、IOBESには普遍的な優位性はない。
• 出力と再帰ユニットの両方に適用される変分的ドロップアウトは、ドロップアウトなしやナイーブなドロップアウトよりも優れており、LSTM網あたり約100の再帰ユニットが実用的な目安となる。
• マルチタスク学習は主にタスク同士が言語的に類似している場合に有効であり、そうでない場合は単一タスク設定の方がよいことが多く、タスク特異的なLSTM層が有利な場合もある。