[論文レビュー] AMALGUM -- A Free, Balanced, Multilayer English Web Corpus

Luke Gessler, Siyao Peng+4 more|arXiv (Cornell University)|Jun 18, 2020

Natural Language Processing Techniques参考文献 32被引用数 5

ひとこと要約

AMALGUM は、400万トークンの自由でジャンルバランスの取れた多層的英語ウェブコーパスであり、豊富な自動アノテーション（依存構文解析、共参照解決、修辞構造理論（RST）におけるディコースツリー、ネストされたエンティティ認識を含む）を備えたウェブデータにドメイン適応型NLPツールを適用して構築されたものである。多層的アノテーションとモデルスタッキングを活用することで、ほぼゴールドスタンダードの精度（品詞タギングで最大97.37％）を達成し、共参照およびディコース解析の性能を顕著に向上させ、小規模で高価なゴールドスタンダードデータセットに代わるスケーラブルで高品質な代替手段を提供する。

ABSTRACT

We present a freely available, genre-balanced English web corpus totaling 4M tokens and featuring a large number of high-quality automatic annotation layers, including dependency trees, non-named entity annotations, coreference resolution, and discourse trees in Rhetorical Structure Theory. By tapping open online data sources the corpus is meant to offer a more sizable alternative to smaller manually created annotated data sets, while avoiding pitfalls such as imbalanced or unknown composition, licensing problems, and low-quality natural language processing. We harness knowledge from multiple annotation layers in order to achieve a "better than NLP" benchmark and evaluate the accuracy of the resulting resource.

研究の動機と目的

• NLP研究のための、大規模で高品質でジャンルバランスが取れており、自由に利用可能なアノテーション付きウェブコーパスの不足を解消すること。
• 機会的ウェブデータ収集の限界を克服し、低品質または不均衡なアノテーションや、ドメイン外テキストにおけるNLP性能の低さを避けること。
• 豊富な多層的アノテーションを用いて、ディコース、共参照、ジャンルの変動に関する高度な言語的分析を可能にするコーパスの開発。
• 複数のNLPツールを組み合わせ、タスク間の情報を活用することで、「NLPを超える」銀標準データを生成できることを示すこと。
• OntoNotes や RST-DT のような小規模で特許権が付与されたゴールドスタンダードデータセットを超える、スケーラブルでオープンアクセスのリソースを提供すること。

提案手法

• コーパスは、ニュース、インタビュー、旅行ガイド、ハウツーガイド、学術論文、小説、伝記、フォーラムの8つの異なる英語ジャンルから、ジャンルバランスの取れたサンプリング戦略を用いてウェブコンテンツを収集することで構築される。
• NLPツールは、より小さなゴールドスタンダードコーパス（GUM）上で微調整され、AMALGUMの大きなデータに対してドメイン特化された性能を確保する。
• 品詞タギング、依存構文解析、共参照解決、ネストされたエンティティ認識、RSTディコース解析のための最先端のモデルを用いて、多層的アノテーションが生成される。
• 複数のNLPシステムの予測を統合するモデルスタッキングが適用され、一致を活用し、誤差伝搬を低減することで精度が向上する。
• 文書マークアップ、ジャンルラベル、文型、外部モデルからのディコース関係予測などの補助的特徴が統合され、性能向上が図られる。
• コーパスは、GUMのゴールドスタンダードテストセットおよび既存のベンチマークを用いて評価され、オフザシェルのツール、ドメイン内微調整済みモデル、アンサンブル手法の間で性能が比較される。

実験結果

リサーチクエスチョン

• RQ1 大規模で自由に利用可能なウェブコーパスを、高品質で多層的NLPアノテーションを備え、ジャンルバランスを保ちつつ、オープンライセンスを適用して構築できるか？
• RQ2 ドメイン内微調整とモデルスタッキングは、オフザシェルのNLPツールと比較して、ウェブデータにおける自動アノテーションの精度をどの程度向上させられるか？
• RQ3 ジャンル、マークアップ、タスク間予測などの補助的特徴は、共参照およびディコース解析の品質向上にどの程度寄与するか？
• RQ4 AMALGUM のような「銀標準」コーパスは、より小さなゴールドスタンダードデータセットを上回る性能を示せるか？
• RQ5 AMALGUM におけるNLPツールの性能は、OntoNotes や RST-DT のような既存のベンチマークと比較して、特にディコース解析のような複雑なタスクにおいてどう異なるか？

主な発見

• モデルスタッキングを用いることで、AMALGUM における品詞タギングの F1 スコアは 97.37% を達成し、ゴールドスタンダード性能に近づき、オフザシェルツール（93.98% F1）を顕著に上回った。
• 多層的特徴を用いた xrenner モデルを用いることで、AMALGUM における共参照解決の F1 スコアは 71.56% に達した。これは標準設定時（66.40%）と比較して向上した。
• ディコース解析の精度は、GUM テストで J&E14+multilayer の 44.07% から AMALGUM では 45.13% に向上し、ジャンルおよび構造的特徴の価値が裏付けられた。
• 多層的アノテーションとモデルアンサンブルの活用により、すべてのNLPタスクで一貫した向上が見られ、特に共参照およびディコース解析で顕著な向上が得られた。
• タギングおよび解析の性能は高いが、ディコースレベルのタスクは依然として困難であり、OntoNotes におけるSOTAスコアと比べて著しく低い水準に留まっており、実世界のウェブデータにおける改善の余地が残っている。
• AMALGUM は、オフザシェルツールに比べて一貫性があり、正確な性能を示しており、ネストされたエンティティやディコース関係のような複雑な現象に対しても有効であることが検証された。これは、AMALGUM が「NLPを超える」ベンチマークとしての利用価値を有することを裏付けている。