[論文レビュー] A Practical Chinese Dependency Parser Based on A Large-scale Dataset

Shuai Zhang, Lijie Wang+2 more|arXiv (Cornell University)|Sep 2, 2020

Topic Modeling参考文献 17被引用数 17

ひとこと要約

本稿では、多様なソースから抽出された約100万文の手動アノテーションをもつ大規模データセットBaidu Chinese Treebank (DuCTB) を用いて学習された、最先端の中国語依存解析器DDParserを提示する。BiLSTMによる文脈表現とグラフベースのバイアフィン構造を採用し、産業用途を最適化した実装であり、標準テストデータで92.9%のLAS、非ドメインデータで86.9%のLASを達成しており、ワンコマンドでデプロイ可能なシンプルなインターフェースを備えている。

ABSTRACT

Dependency parsing is a longstanding natural language processing task, with its outputs crucial to various downstream tasks. Recently, neural network based (NN-based) dependency parsing has achieved significant progress and obtained the state-of-the-art results. As we all know, NN-based approaches require massive amounts of labeled training data, which is very expensive because it requires human annotation by experts. Thus few industrial-oriented dependency parser tools are publicly available. In this report, we present Baidu Dependency Parser (DDParser), a new Chinese dependency parser trained on a large-scale manually labeled dataset called Baidu Chinese Treebank (DuCTB). DuCTB consists of about one million annotated sentences from multiple sources including search logs, Chinese newswire, various forum discourses, and conversation programs. DDParser is extended on the graph-based biaffine parser to accommodate to the characteristics of Chinese dataset. We conduct experiments on two test sets: the standard test set with the same distribution as the training set and the random test set sampled from other sources, and the labeled attachment scores (LAS) of them are 92.9% and 86.9% respectively. DDParser achieves the state-of-the-art results, and is released at https://github.com/baidu/DDParser.

研究の動機と目的

• 産業用途向けに実用的で高性能な中国語依存解析器の開発を目的とする。
• 大規模で多様かつ高品質な中国語依存解析用データセットの不足を解消することを目的とする。
• 検索ログやフォーラムからの非公式・不規則な表現を含む多様な文型に対しても堅牢な一般化性能を実現することを目的とする。
• 研究者や開発者が最小限の設定で利用可能な、ユーザーフレンドリーでプロダクション環境対応のツールを提供することを目的とする。
• ソースコードと事前学習済みモデルを公開することで、オープンソースNLP研究の発展を促進する最先端の解析器を提供することを目的とする。

提案手法

• 解析器は、ヘッド語と依存関係を同時に予測するバイアフィンアテンション機構を用いたグラフベースのバイアフィン依存解析フレームワークに基づく。
• 語彙表現は300次元の単語埋め込みと50次元の文字埋め込みを用い、文脈表現として3層のBiLSTMネットワークを適用する。
• バイアフィン分類の前に、BiLSTM出力を次元削減するマルチレイヤーパーセプトロン（MLP）を適用し、不要な情報をフィルタリングする。
• バイアフィン分類器は、弧のスコアを $ S^{arc} = (H^{d-arc} \oplus I)U^{arc}H^{h-arc} $ および関係スコアを $ S^{rel} = (H^{d-rel} \oplus I)U^{rel}((H^{h-rel})^T \oplus I)^T $ で計算する。
• 1次元のEisnerアルゴリズムにより、出力が有効なプロジェクティブな依存木であることを保証し、木構造の妥当性を確認するための順序走査による事前チェックを実施する。
• 新しいフィルタリング戦略により、依存木の順序走査が語の順序に一致するかを確認し、デコードの前に射影木の妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様かつ現実世界の中国語コーパスで学習されたニューラル依存解析器は、ドメイン内およびドメイン外の両テストセットで最先端の性能を達成できるか？
• RQ2 BiLSTMによるエンコーディングと文字レベル特徴を組み合わせたバイアフィン解析器の性能は、既存のツールと比較して中国語依存解析ベンチマークでどのように差をつけるか？
• RQ3 検索ログやフォーラムからの構文的に不規則または非公式な文に対して、解析器の一般化性能はどの程度向上するか？
• RQ4 単純化されたデプロイとオープンソース化により、高性能な依存解析器を産業用途で実用的かつアクセスしやすくできるか？
• RQ5 新聞記事、フォーラム、検索クエリをカバーする多様なデータの多様性は、解析のロバストネスと一般化性能にどのような影響を与えるか？

主な発見

• DDParserは、Baidu Chinese Treebank (DuCTB) の標準テストセットで92.9%のラベル付きアタッチメントスコア（LAS）を達成し、最先端の性能を示した。
• 非ドメインのソースから抽出したランダムテストセットでは、LASが86.9%を維持しており、未学習の文型に対しても強い一般化性能を示している。
• ランダムテストセットにおいて、他の公開済み解析器を上回り、UASが89.7%、LASが86.9%を達成しており、両指標で競合ツールを上回った。
• 解析器は非常に実用的であり、ワンコマンドでインストールと推論が可能で、産業用途および研究用途へのアクセスを容易にしている。
• 検索ログ、フォーラム、ニュース記事をカバーする多様で大規模なデータセット（DuCTB）を用いることで、構文的変動に対するロバストネスが顕著に向上した。
• 文字レベルの埋め込みとBiLSTMエンコーディングの統合により、非公式なテキストにおける希少語やOOV語の処理性能が向上した。