[論文レビュー] Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network

Peilu Wang, Yao Qian+3 more|arXiv (Cornell University)|Oct 21, 2015

Natural Language Processing Techniques参考文献 25被引用数 96

ひとこと要約

本稿では、形態素特徴に依存せずにPenn Treebank WSJテストセットで97.40%の最先端の正確度を達成する、単語埋め込みを用いた双方向LSTM再帰的ニューラルネットワーク（BLSTM-RNN）を提案する。この手法は、大規模なラベルなしテキストからの文脈表現学習を効果的に行うために、BLSTMフレームワーク内でのマスク言語モデル化目的関数を用いて、エンドツーエンドで単語埋め込みを学習する。

ABSTRACT

Bidirectional Long Short-Term Memory Recurrent Neural Network (BLSTM-RNN) has been shown to be very effective for tagging sequential data, e.g. speech utterances or handwritten documents. While word embedding has been demoed as a powerful representation for characterizing the statistical properties of natural language. In this study, we propose to use BLSTM-RNN with word embedding for part-of-speech (POS) tagging task. When tested on Penn Treebank WSJ test set, a state-of-the-art performance of 97.40 tagging accuracy is achieved. Without using morphological features, this approach can also achieve a good performance comparable with the Stanford POS tagger.

研究の動機と目的

• 手動で作成された形態素特徴に依存しないニューラルネットワークベースのPOSタギングシステムの開発を目的とする。
• BLSTM-RNNに単語埋め込みを組み合わせたモデルが、標準的なPOSベンチマークデータセットで最先端の性能を達成できるかどうかを調査すること。
• ラベルなしテキストを用いて、BLSTM-RNNフレームワーク内に直接単語埋め込みを学習するための新規な手法を提案すること。
• 事前学習済み埋め込みと自己学習済み埋め込みの違いが、POSタギング正確度に与える影響を評価すること。

提案手法

• シーケンス内の長距離依存関係をモデル化するために、双方向LSTMネットワークを用い、各単語の過去および未来の文脈を捉える。
• 単語埋め込み（学習済みまたは事前学習済み）と3クラスのキャピタライゼーション特徴（小文字、大文字、初文字大文字）を組み合わせたハイブリッド入力表現を採用し、大文字の情報を保持する。
• 新規な非教師あり事前学習目的関数を導入：文内の単語がランダムな単語に置き換えられているかどうかを予測することで、マスク言語モデル化を用いて単語埋め込みを効果的に学習する。
• 大規模なラベルなしテキスト（例：北米ニュースコーパス）上でこの事前学習タスクを実行して得られた埋め込みで、BLSTM-RNNの単語埋め込み層を初期化する。
• 正しくPOSタグが予測される確率を最大化するために、バックプロパゲーションと確率的勾配降下法を用いて、モデル全体をエンドツーエンドで学習する。
• 各単語のシーケンスに対して、POSタグの確率分布を予測するためにソフトマックス出力層を適用する。

実験結果

リサーチクエスチョン

• RQ1 自己学習済み単語埋め込みを用いたBLSTM-RNNモデルは、形態素特徴を一切使用しない状態で、POSタギングにおいて最先端の性能を達成できるか？
• RQ2 ラベルなし事前学習コーパスのサイズが、学習された単語埋め込みの質および下流タグ付け正確度に与える影響は何か？
• RQ3 POSタガーモデルと同じニューラルアーキテクチャ内で単語埋め込みを学習する方法が、外部モデルからの事前学習済み埋め込みを用いる方法を上回るか？
• RQ4 形態素特徴が除外された状況で、ビグレーム接尾辞などの追加的な簡単な特徴が性能にどの程度寄与するか？

主な発見

• 提案された自己学習済み単語埋め込みを用いたBLSTM-RNNは、Penn Treebank WSJテストセットで97.40%のテスト正確度を達成し、新たな最先端の結果を樹立した。
• 5億3000万語のラベルなしテキスト（WE(all)）で単語埋め込みを学習することで、性能が顕著に向上し、ランダム初期化と比較して誤差率が20%以上低下した。
• 形態素特徴を一切使用しない状態でも、WE(all)を用いたモデルは97.26%の正確度を達成し、複雑な形態素特徴に依存する従来のシステムを上回った。
• 最後2文字のビグレーム接尾辞をワンホットベクトルとして追加することで、正確度が97.40%に向上したが、より長い接尾辞特徴（例：トライグレーム）は性能向上に寄与しなかった。
• 外部ソース（例：Google News、Wikipedia、Twitter）から得た事前学習済み単語埋め込みは、OOV率が低くても、BLSTM-RNNとエンドツーエンドで学習された埋め込みの性能を上回ることはできなかった。
• WE(all)で学習されたモデルは、多数の形態素特徴を用いたToutanovaら（2003）の最先端システムと同等の性能を達成した。