[論文レビュー] A General-Purpose Tagger with Convolutional Neural Networks

Xiang Yu, Agnieszka Faleńska+1 more|arXiv (Cornell University)|Jun 6, 2017

Natural Language Processing Techniques参考文献 11被引用数 6

ひとこと要約

本論文は、2つの畳み込みニューラルネットワーク（CNN）を用いた汎用タガーモデルを提示する。1つは語の表現を文字レベルで構成するためのもので、もう1つは文脈を符号化するためのものである。このモデルは、品詞タギング、語彙素性タギング、スーパー・タギングの各タスクで最先端の性能を達成しており、未知語や正規化されていない語に対する高い耐性を示す。LSTMベースおよびCRFベースのベースラインを上回っており、とくにノイズの多いテキスト条件下でも顕著な優位性を示す。

ABSTRACT

We present a general-purpose tagger based on convolutional neural networks (CNN), used for both composing word vectors and encoding context information. The CNN tagger is robust across different tagging tasks: without task-specific tuning of hyper-parameters, it achieves state-of-the-art results in part-of-speech tagging, morphological tagging and supertagging. The CNN tagger is also robust against the out-of-vocabulary problem, it performs well on artificially unnormalized texts.

研究の動機と目的

• タスク固有のハイパーパrameterチューニングなしで、多様なタギングタスクに優れた性能を発揮する汎用的なシーケンスタギングモデルの開発。
• CNNを用いた文字レベルの表現構成により、NLPにおける未知語（OOV）問題に対処すること。
• ソーシャルメディアや非公式な言語で一般的な正規化されていない、またはスペルミスのあるテキストに対する耐性を評価すること。
• 低リソースおよびノイズの多い入力条件下での性能と安定性の観点から、文字レベル表現にCNNを用いたアプローチとLSTMベースのアプローチを比較すること。
• 統一されたアーキテクチャを用いて、言語やタグセットの多様性にわたる一般化を図る、シーケンスタギングの強力なベースラインを確立すること。

提案手法

• 文字n-gramを用いて語の表現を生成するため、複数のフィルタサイズ（3, 5, 7, 9）と最大プーリングを用いた文字レベルCNNを採用。
• 一般化を向上させるために、学習中に組み合わせられた文字レベルベクトルにガウスノイズ（σ = 0.1）を適用。
• 15語の窓（ターゲット語の両側にそれぞれ7語ずつ）を処理する、4段のスタックされたフィルタ（サイズ2〜5）を用いた文脈符号化CNNを採用し、長距離依存関係を捉える。
• 各語の表現に、バイナリターゲットインジケータと学習可能な位置埋め込みを連結することで、文脈モデリングを強化。
• 語の埋め込み（w）と文字レベルで合成されたベクトル（c）を組み合わせ、その連結（w + c）を用いることで最高の性能を達成。
• 平均化されたSGD、L2正則化（10−5）、ドロップアウト（0.1）、ReLU活性化関数を用い、最終分類層の直前で512次元の隠れ層でモデルを学習。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のハイパーパrameterチューニングなしで、1つのCNNベースのアーキテクチャが品詞タギング、語彙素性タギング、スーパー・タギングの複数のタスクで最先端の性能を達成できるか？
• RQ2 文字レベル表現にCNNを用いたモデルは、未知語や正規化されていない語を処理する際、LSTMベースのモデルと比較してどのように優れているか？
• RQ3 文字レベル表現と文脈符号化の両方でCNNを用いることで、ノイズやスペルミスのあるテキストに対して、CRFやLSTMベースのベースラインと比較してより高い耐性を示すか？
• RQ4 位置埋め込みとターゲットインジケータの導入が、タガーモデルの文脈モデリングにどの程度向上効果をもたらすか？
• RQ5 提案されたタガーモデルは、Universal Dependencies 1.2ツリークエリを用いた評価において、多様な言語や語彙的複雑性にわたって一般化可能か？

主な発見

• 22のUniversal Dependencies 1.2ツリークエリで、品詞タギング（平均96.18%）、語彙素性タギング（平均93.72%）、スーパー・タギング（平均91.62%）の3つのタスクすべてで最先端の正確度を達成。
• 語彙素性タギングでは、biLSTM-auxベースラインを著しく上回り、平均で1.5〜2.5パcentポイントの改善を達成。
• スーパー・タギングでは、biLSTM-auxおよびMarMot CRFベースのモデルを大きく上回り、正規化されていないテキストでは4.5〜11.0パcentポイントの優位性を示した。
• 意図的に損傷を与えた（正規化されていない）テキストでは、CNNタガーモデルがLSTMおよびCRFベースラインよりも著しく高い正確度を維持し、極端な場合（100%の損傷）で4〜8ポイントの優位性を示した。
• 挿入および削除エラーに対して優れた耐性を示した一方、CRFおよびLSTMモデルは置換エラーに対してより感受的であった。
• このタガーモデルは多様な言語にわたって良好に一般化され、低リソース言語および高度に屈曲する言語（フィンランド語、ハンガリー語、チェコ語など）でも高い性能を発揮した。