[論文レビュー] NNVLP: A Neural Network-Based Vietnamese Language Processing Toolkit

Thai-Hoang Pham, Xuan-Khoai Pham+2 more|arXiv (Cornell University)|Aug 24, 2017

Natural Language Processing Techniques被引用数 5

ひとこと要約

NNVLPは、事前学習済み単語埋め込みを用いて、双方向LSTM、CNN、CRFモデルを統合したニューラルネットワークベースのベトナム語自然言語処理用ツールキットであり、品詞タグ付け（91.92％の正解率）、句切り分け（84.11％のF1スコア）、固有表現抽出（92.91％のF1スコア）で最先端の性能を達成している。このシステムは生テキストを処理し、一般公開用のAPIおよびWebインターフェースを提供する。

ABSTRACT

This paper demonstrates neural network-based toolkit namely NNVLP for essential Vietnamese language processing tasks including part-of-speech (POS) tagging, chunking, named entity recognition (NER). Our toolkit is a combination of bidirectional Long Short-Term Memory (Bi-LSTM), Convolutional Neural Network (CNN), Conditional Random Field (CRF), using pre-trained word embeddings as input, which achieves state-of-the-art results on these three tasks. We provide both API and web demo for this toolkit.

研究の動機と目的

• 従来の機械学習手法を上回る、ベトナム語処理のためのニューラルネットワークベースのツールキットを開発すること。
• 深層学習アーキテクチャと事前学習済み埋め込みを活用することで、低リソースNLP課題に取り組むこと。
• 研究者や実務家が最先端のベトナム語NLPモデルを容易に利用できるように、APIおよびWebデモを通じてアクセス可能なツールを提供すること。
• オープンで高パフォーマンスで再利用可能なツールを提供することで、ベトナム語NLPの長期的発展を促進すること。

提案手法

• NNVLPツールキットは、双方向LSTM（Bi-LSTM）、畳み込みニューラルネットワーク（CNN）、条件付き確率場（CRF）層を組み合わせたハイブリッドアーキテクチャを採用している。
• 入力として、word2vecで事前学習された単語埋め込みが使用され、各単語の文字レベル特徴はCNN層を介して抽出される。
• Bi-LSTMは、単語特徴と文字レベル特徴を連結した入力を処理し、ベトナム語テキスト内の順序依存性を捉える。
• CRF層は、ラベルの依存関係をモデル化することで、最良のラベルシーケンス（品詞タグ、句、固有表現）をデコードする。
• 入力テキストはまず、pyviツールキットを用いて単語に分割され、スペースで区切られた複数音節語を処理する。
• システムはパイプラインとして処理される：品詞タグ付け → 句切り分け → NER。各段階の出力を次の段階の入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 Bi-LSTM、CNN、CRFを統合したディープラーニングアプローチが、ベトナム語の品詞タグ付け、句切り分け、NERタスクで最先端の性能を達成できるか？
• RQ2 事前学習済み単語埋め込みと文字レベルCNN特徴の統合が、ベトナム語NLPタスクの性能向上にどの程度寄与するか？
• RQ3 提案されたニューラルアーキテクチャが、CRF、MEMM、SVMといった従来モデルをどの程度上回るか？
• RQ4 APIおよびWebデモを備えた統合的で公開可能なツールキットが、ベトナム語NLP研究および応用分野の発展をどの程度支援できるか？

主な発見

• NNVLPは品詞タグ付けで91.92％の正解率を達成し、RDRPOSTagger（91.96％）やvTools（90.73％）を上回った。
• 句切りけんでは84.11％のF1スコアを達成し、vTools（83.17％）を上回り、VLSPコーパスにおいても優れた性能を示した。
• NERタスクでは92.91％のF1スコアを達成し、Vitk（88.78％）やvie-ner-lstm（92.05％）を顕著に上回った。
• Bi-LSTM、CNN、CRFと事前学習済み単語埋め込みの組み合わせにより、3つのタスクすべてで一貫した性能向上が見られた。
• システムの性能は、品詞タグ付けおよび句切りけんにはViet Treebank、NERにはVLSP 2016を用いた標準ベンチマークで検証され、標準的なCoNLLフォーマットが使用された。
• APIおよびWebデモ（nnvlp.org）を通じたツールキットの公開により、広範なアクセスが可能となり、ベトナム語NLP分野の継続的かつ発展的な研究開発を支援している。