[論文レビュー] N-LTP: A Open-source Neural Chinese Language Technology Platform with Pretrained Models.

Wanxiang Che, Yunlong Feng+2 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 25被引用数 36

ひとこと要約

N-LTP は、知識蒸留を用いてパフォーマンスを向上させる共有事前学習マルチタスクモデルを用いて、語彙的・構文的・意味的解析の6つのコアタスクを統合するオープンソースのニューラル中国語NLPプラットフォームです。単一タスクベースラインを上回り、アクセスしやすいAPIと可視化ツールを提供します。

ABSTRACT

We introduce N-LTP, an open-source neural language technology platform supporting six fundamental Chinese NLP tasks: lexical analysis (Chinese word segmentation, part-of-speech tagging, and named entity recognition), {syntactic parsing} (dependency parsing), and {semantic parsing} (semantic dependency parsing and semantic role labeling). Unlike the existing state-of-the-art toolkits, such as Stanza, that adopt an independent model for each task, N-LTP adopts the multi-task framework by using a shared pre-trained model, which has the advantage of capturing the shared knowledge across relevant Chinese tasks. In addition, knowledge distillation where the single-task model teaches the multi-task model is further introduced to encourage the multi-task model to surpass its single-task teacher. Finally, we provide a collection of easy-to-use APIs and a visualization tool to make users easier to use and view the processing results directly. To the best of our knowledge, this is the first toolkit to support six Chinese NLP fundamental tasks. Source code, documentation, and pre-trained models are available at \url{this https URL}.

研究の動機と目的

• 6つの基本的中国語NLPタスクを統合し、オープンソースのプラットフォームを構築すること。
• 個別のモデルが各タスクに使用される既存のツールキットの制限を克服し、マルチタスク学習フレームワークを導入すること。
• 単一タスクモデルがマルチタスクモデルを指導する知識蒸留により、モデルのパフォーマンスを向上させること。
• 直感的なAPIとNLP出力構造の直接的な検査を可能にする可視化ツールを提供することで、使いやすさを向上させること。

提案手法

• 中国語NLPにおけるタスク間知識を捉えるために、共有事前学習バックボーンを用いたマルチタスク学習フレームワークを採用すること。
• 語彙分割、品詞タグ付け、固有表現抽出、依存解析、意味的依存解析、意味的役割ラベリングの6つのコアNLPタスクを統合すること。
• 個々の単一タスク教師モデルの予測を模倣するように訓練することで、マルチタスクモデルに知識蒸留を適用すること。
• 簡単な統合とデプロイが可能な標準化されたAPIを備えたモジュラーなアーキテクチャを設計すること。
• NLP出力構造のリアルタイム検査を可能にする可視化ツールを実装すること。
• 公開URLで事前学習モデル、ソースコード、包括的なドキュメンテーションをリリースすること。

実験結果

リサーチクエスチョン

• RQ1 共有マルチタスク学習フレームワークは、個別のモデルと比較して、6つの多様な中国語NLPタスク全体のパフォーマンスを効果的に向上させることができるか？
• RQ2 単一タスク教師モデルからの知識蒸留は、統合マルチタスクモデルのパフォーマンスをどの程度向上させるか？
• RQ3 語彙的・構文的・意味的解析を1つのプラットフォームに統合することで、エンドツーエンドのNLPパイプラインの効率性と正確性にどのような影響を与えるか？
• RQ4 可視化サポートを備えたオープンソースで使いやすいツールキットは、中国語NLP分野の研究者や実務家を効果的に支援できるか？

主な発見

• N-LTP は、1つの統合フレームワーク内で6つの基本的中国語NLPタスクをサポートする最初のオープンソースツールキットである。
• 知識蒸留によって強化されたマルチタスクモデルは、その単一タスク教師モデルを上回る優れたパフォーマンスを達成している。
• 共有事前学習アーキテクチャにより、関連するタスク間での効果的な知識移転が可能となり、一般化性能が向上している。
• プラットフォームのAPIと可視化ツールは、研究者や開発者の参入障壁を顕著に低減している。
• 事前学習モデルと完全なドキュメンテーションが公開されており、再現性と広範な採用を可能にしている。
• 構文的および意味的解析を同じフレームワークに統合することで、より一貫性があり文脈に即した言語解析が可能になっている。