[論文レビュー] TexSmart: A Text Understanding System for Fine-Grained NER and Enhanced Semantic Analysis

Haisong Zhang, Lemao Liu+15 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 33被引用数 19

ひとこと要約

TexSmart は、1,000種類以上の細粒度名前付きエンティティ認識（NER）、意味拡張、およびディープな意味表現を備えた包括的なテキスト理解システムです。高速で軽量なモデルから高精度なディープラーニング手法まで、さまざまなアルゴリズムを活用し、弱教師ありおよび教師なし学習により最小限の人的アノテーションで柔軟に展開可能なNLPアプリケーションに適しています。

ABSTRACT

This technique report introduces TexSmart, a text understanding system that supports fine-grained named entity recognition (NER) and enhanced semantic analysis functionalities. Compared to most previous publicly available text understanding systems and tools, TexSmart holds some unique features. First, the NER function of TexSmart supports over 1,000 entity types, while most other public tools typically support several to (at most) dozens of entity types. Second, TexSmart introduces new semantic analysis functions like semantic expansion and deep semantic representation, that are absent in most previous systems. Third, a spectrum of algorithms (from very fast algorithms to those that are relatively slow but more accurate) are implemented for one function in TexSmart, to fulfill the requirements of different academic and industrial applications. The adoption of unsupervised or weakly-supervised algorithms is especially emphasized, with the goal of easily updating our models to include fresh data with less human annotation efforts. The main contents of this report include major functions of TexSmart, algorithms for achieving these functions, how to use the TexSmart toolkit and Web APIs, and evaluation results of some key algorithms.

研究の動機と目的

• 既存のテキスト理解システムが粗粒度の名前付きエンティティ認識（通常 <50 種類）しかサポートしないという限界を克服し、1,000 種類を超える細粒度エンティティタイプの認識を可能にすること。
• 時間や数量などのエンティティに対して意味拡張およびディープな意味表現といった新機能を導入することで、標準的なNLPタスクをはるかに超えた意味理解を実現すること。
• 高速性から高精度まで多様なアルゴリズムを各タスクに組み込むことで、効率性とパフォーマンスのトレードオフを可能にし、多様なアプリケーションニーズに対応すること。
• 人的アノテーションデータの大量必要を減らすために、モデルのトレーニングと適応に教師なしおよび弱教師あり学習技術を重視すること。
• 研究者や開発者が実世界のアプリケーションに高度なNLP機能を統合できる、実用的で拡張可能なツールキットおよびAPIを提供すること。

提案手法

• TexSmart は、大規模な構造的・準構造的・非構造的データを用いて、教師あり学習（例：CRF、DNN）と教師なし／弱教師あり手法を組み合わせたハイブリッドアプローチを採用し、細粒度 NER モデルをトレーニングする。
• 意味拡張のため、文脈的および分布的特徴に基づいて、意味的に関連するエンティティのリストを生成し、表面的な認識を超えたエンティティ理解を強化する。
• 時間的および数量的エンティティに対してディープな意味表現を適用し、機械処理可能な形式（例：絶対タイムスタンプ）に変換することで、下流アプリケーションにおける正確な推論を可能にする。
• 各NLPタスク（例：品詞タギング、NER、構文解析）にマルチアルゴリズムパイプラインを実装し、ロジスティック回帰、CRF、DNNモデルを含む。DNNはデータ拡張および知識蒸留により高速化され、推論速度が向上する。
• 構文的句分割（constituency parsing）および意味役割ラベリング（SRL）は、RoBERTaベースのモデルを用いて実装され、トレーニングと評価は標準ベンチマーク（例：SRL では CoNLL 2012）に従う。
• テキストマッチングは、教師あり（ESIM）および教師なし（Linkage）モデルを用いて評価され、性能は多言語データセット（MRPC、QUORA、LCQMC、AFQMC、BQ_CORPUS、PAWS-zh）におけるF1スコアおよび1秒あたりの文数で測定される。

実験結果

リサーチクエスチョン

• RQ1 既存の公開ツールが通常3～50種類程度にとどまる粗粒度の名前付きエンティティ認識をはるかに超える、1,000種類を超える細粒度エンティティタイプをサポートできるか？
• RQ2 意味拡張およびディープな意味表現が、生産環境のNLPシステムに効果的に統合可能であり、エンティティの意味を豊かにし、正確な時系列的および数量的推論を可能にするか？
• RQ3 高速で軽量なモデルから高精度なディープラーニングモデルまで、さまざまなアルゴリズムスケールを効果的に統合し、学術的および産業的NLPワークロードに適応可能か？
• RQ4 教師なしおよび弱教師あり学習技術を活用することで、堅牢なNLPモデルをトレーニングするにあたり、人的アノテーションデータの必要性をどの程度削減できるか？
• RQ5 英語および中国語の両言語において、品詞タギング、NER、構文解析、テキストマッチングといった主要NLPタスクにおいて、ハイブリッドでマルチアルゴリズムパイプラインのパフォーマンスと効率性は、どのように比較されるか？

主な発見

• TexSmart は、英語および中国語の両データセットで意味拡張の精度が80.0%に達し、意味的に関連するエンティティを効果的に同定できることを示している。
• 細粒度 NER におけるハイブリッドアプローチは、教師ありの LUA モデルを著しく上回り、複数の学習戦略を組み合わせることの有効性を示している。
• 構文的句分割では、英語で F1 スコア 95.42、中国語で 92.25 を達成し、処理速度はそれぞれ 16.6 句／秒および 16.0 句／秒であった。
• 意味役割ラベリングでは、英語で F1 スコア 86.7、中国語で 82.1 を達成し、1秒あたり約 10～11.5 句の処理が可能であった。
• テキストマッチングでは、教師なしの Linkage モデルが 1秒あたり 1,973 句を処理し、PAWS-zh で F1 スコア 62.30 を達成。これは、教師ありの ESIM よりも優れた性能を示しており、教師なしであるにもかかわらず顕著な性能を発揮した。
• 品詞タギングおよび NER に用いられる DNN ベースのモデルは、最高の精度を達成したが、ロジスティック回帰や CRF モデルよりも遅かった。知識蒸留およびデータ拡張により、性能を損なわず推論速度が向上した。