[論文レビュー] GCDT: A Chinese RST Treebank for Multigenre and Multilingual Discourse Parsing

Siyao Peng, Yang Janet Liu+1 more|arXiv (Cornell University)|Oct 19, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、5つのジャンルにまたがる60,000語以上のトークンを含む、中国語RSTツリーべンクのGCDTを紹介する。このデータセットは、英語RSTコーパスと同一の関係インventorieを採用している。マルチリンガル埋め込みと自動EDU翻訳を用いたクロスリンガル学習により、単言語およびマルチリンガルRSTパーサーで最先端の性能を達成している。微調整により、より小さな中国語データセットでの性能が向上し、マルチリンガル学習が全体として最高の性能をもたらした。

ABSTRACT

A lack of large-scale human-annotated data has hampered the hierarchical discourse parsing of Chinese. In this paper, we present GCDT, the largest hierarchical discourse treebank for Mandarin Chinese in the framework of Rhetorical Structure Theory (RST). GCDT covers over 60K tokens across five genres of freely available text, using the same relation inventory as contemporary RST treebanks for English. We also report on this dataset's parsing experiments, including state-of-the-art (SOTA) scores for Chinese RST parsing and RST parsing on the English GUM dataset, using cross-lingual training in Chinese and English with multilingual embeddings.

研究の動機と目的

• 中国語の高スケールで人手でアノテートされたRSTツリーべンクの不足を解消し、階層的ディス course解析を促進すること。
• 既存の英語RST基準と整合性を持つ、高品質でマルチジェンルの中国語RSTコーパスを確立すること。
• 共有アノテーションフレームワークを用いて、中国語および英語データセットにおける単言語およびマルチリンガルディス course解析性能を評価すること。
• マルチリンガル学習、微調整、および自動翻訳の有効性を検証し、低リソース言語および高リソース言語におけるパーサー性能の向上を検討すること。
• 異なるテキストタイプにおけるモデルの汎化能力を理解するために、ジャンルごとのパフォーマンス差異を分析すること。

提案手法

• 著者らは、英語RSTコーパスと同一のRSTアノテーションガイドラインと関係インベントリを採用し、中国語の60,000語の5ジャンルにわたるRSTツリーべンク「GCDT」を構築した。
• 中国語RoBERTa埋め込みを用いた単言語学習により、中国語データセットで最先端の結果を達成した。
• GCDTと英語のGUMコーパスを統合し、XLM-RoBERTa-baseをマルチリンガル埋め込みモデルとして用いて、マルチリンガル学習を実施した。
• 英語データと共同学習の後、より小さな中国語GCDTデータセットで微調整を実施した。これにより中国語での性能が向上したが、英語では逆に低下した。
• Google Translateを用いた自動EDU単位の翻訳を活用し、訓練データを拡張。これにより、より高い性能を示す単言語埋め込みの使用が可能になった。
• 標準的なRSTパーサー評価指標（関係レベルおよびスパンレベルのF1スコア）を用い、複数のテストシナリオとジャンルにわたって性能を評価した。

Figure 1: A RST subtree with two relative clauses annotated as elaboration-attribute and same-unit in GCDT_academic_dingzhen with automatic $zh\rightarrow en$ translations appended after the source Chinese texts.

実験結果

リサーチクエスチョン

• RQ1 中国語の高スケールでマルチジェンルのRSTツリーべンクを、英語RSTコーパスと同等のアノテーションガイドラインと関係インベントリを用いて構築可能か？
• RQ2 中国語と英語のマルチリンガルデータを共同で学習することで、単言語学習に比べ、両言語のディス course解析性能が向上するか？
• RQ3 より小さな中国語データセット（GCDT）での微調整は、共同学習のみに比べて性能を向上させるか？また、その効果はより大きな英語データセット（GUM）にも一般化可能か？
• RQ4 英語のディス courseユニットをEDU単位で自動翻訳することで、中国語でのパーサー性能が向上するか？特に単言語埋め込みと組み合わせた場合に有効か？
• RQ5 中国語ディス course解析において、パーサー性能とアノテーター間一致度は、異なるテキストジャンルでどのように変動するか？

主な発見

• 単言語学習では、マルチリンガル埋め込みよりも単語埋め込み（hfl/chinese-roberta-wwm-ext）が優れた性能を示し、GCDTでF_Relが51.76に達した。
• GCDTとGUM-12（12ジャンル）を共同で学習することで、全体として最高のパフォーマンスが達成され、GCDTでのF_Relは52.61に上昇し、単言語学習を上回った。
• GCDTでの微調整により、F_Relが50.45から52.61に向上したが、より大きな英語GUMデータセットでは性能が低下した。
• 自動EDU単位の翻訳と単語埋め込みを組み合わせた手法は、4つのテストシナリオのうち3つで最高の性能を示し、低リソース言語のパーサー性能向上に有効であることが示された。
• ジャンル別分析から、ハウツー・ガイド（whow）が最も正確にパーサーされた一方で、人間の基準スコアから最も離れていた。これは、ジャンル特有の課題を示している。
• パフォーマンスはジャンルによって顕著に異なることが判明し、学術論文はハウツー・ガイドよりも困難であった。これは、ジャンルの特性がパーサーの難易度に強く影響していることを示唆している。

Figure 2: A RST subtree with attribution-positive scoping over causal-cause from GCDT_academic_dingzhen with automatic $zh\rightarrow en$ translation.