[論文レビュー] Shallow Discourse Annotation for Chinese TED Talks

Wanqiu Long, Xinyi Cai+3 more|arXiv (Cornell University)|Mar 9, 2020

Natural Language Processing Techniques参考文献 15被引用数 4

ひとこと要約

本稿では、中国語のスピoken語の特徴に適合するように改変されたPDTB-3方式を用いて、浅い話法的関係でアノテートされた、公開可能な中国語TEDトークスの新コーパスを提示する。アノテーションは高い相互アノテーター整合性（kappa > 0.85）を達成し、特に因果関係（Contingency）、時系列関係（Temporal）、比較関係（Comparison）の割合が高いため、既存のニュース中心の中国語コーパスと比較してよりバランスの取れた話法的関係の分布を示している。

ABSTRACT

Text corpora annotated with language-related properties are an important resource for the development of Language Technology. The current work contributes a new resource for Chinese Language Technology and for Chinese-English translation, in the form of a set of TED talks (some originally given in English, some in Chinese) that have been annotated with discourse relations in the style of the Penn Discourse TreeBank, adapted to properties of Chinese text that are not present in English. The resource is currently unique in annotating discourse-level properties of planned spoken monologues rather than of written text. An inter-annotator agreement study demonstrates that the annotation scheme is able to achieve highly reliable results.

研究の動機と目的

• 中国語の話されている独白、特にTEDトークスを対象とした高品質で公開可能な話法的関係アノテーション付きコーパスの構築を目的とする。
• PDTB-3話法的関係アノテーション方式を、中国語の話されている語りの特徴（例えば、暗黙の関係や接続語の使用）を踏まえて適応することを目的とする。
• 相互アノテーター整合性の研究を通じて、アノテーション方式の信頼性を評価することを目的とする。
• 話されている中国語と、特にニュース報道文など書かれた中国語コーパスとの間で、話法的関係の分布にどのような差があるかを比較することを目的とする。
• 特に話されている言語の応用を想定した、話法的関係に配慮したNLPモデルの学習・評価に役立てるリソースを提供することを目的とする。

提案手法

• PDTB-3話法的関係アノテーションフレームワークを中国語の話されている語りに適応させ、意味階層を変更し、AltLexCを削除し、Progressionを追加した。
• 中国語の話されている語りにおける話法的関係、議論の範囲、接続語の特定について、明確なアノテーションガイドラインと基準を定義した。
• アノテーターの厳密なトレーニングと品質管理を実施し、反復的レビューと合意形成プロセスを含んだ。
• 32本のTEDトークス（中国語または中国語に翻訳済み）に、文内および文間関係を焦点として、合計3212件の話法的関係を収集・アノテートした。
• Fleiss’ Kappaを用いた相互アノテーター整合性の研究を実施し、ほとんどの指標で0.85を超える信頼性を達成した。
• 新コーパスと、ニュース中心の中国語コーパスであるCUHK-DTBCとの間で、話法的関係の分布に関する比較分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 PDTB-3話法的関係アノテーション方式を、英語とは異なる中国語の話されている語りに効果的に適応する方法は何か、特に英語に存在しない特徴にどう対応するか。
• RQ2 改変された方式を中国語のTEDトークスに適用した際の相互アノテーター整合性の水準は何か。これはその方式の信頼性を示す。
• RQ3 中国語の話されているTEDトークスにおける話法的関係の分布は、ニュース中心のコーパス（例：CUHK-DTBC）とどのように異なるか。
• RQ4 明示的関係と暗黙的関係が、話されている中国語ではどの程度共存しているか。これは、書かれた中国語と比較してどうか。
• RQ5 中国語の話されている独白において最も頻出する話法的意味タイプは何か。また、それらは話されている語りの修辞的構造をどのように反映しているか。

主な発見

• 改変されたアノテーション方式は、Fleiss’ Kappa値がほとんどのアノテーション指標で0.85を超えるほど高い相互アノテーター整合性を達成し、信頼性が確認された。
• コーパスには3212件のアノテート済み話法的関係が含まれており、明示的関係と暗黙的関係の割合がほぼ同等である。これは、話されている中国語では、書かれた文章よりも明示的な接続語がより多く使われている可能性を示唆している。
• このコーパスにおける話法的関係タイプの分布は、ニュース中心のコーパスよりもよりバランスが取れている。因果関係（27.6%）、時系列関係（19.2%）、比較関係（15.7%）が顕著に多く、対照的に拡張関係（37.5%）が支配的である一方、CUHK-DTBCでは拡張関係（52%）が支配的である。
• 2段階目の話法的意味タイプとして最も頻出するのは因果（20%）、接続（13%）、逆接（13%）であり、上位10の意味タイプが全アノテーションの86%を占めている。
• コーパスは、中国語の話されている語りに特徴的な話法的パターンを明らかにした。特に因果関係や比較関係の頻度が高く、書かれた文章とは異なる。
• 研究結果は、話されている中国語のTEDトークスが、書かれた中国語のニュース報道文と比較して、より多様で、拡張関係に偏っていない話法的構造を示していることを示しており、NLP分野におけるジャンル特化型コーパスの価値を裏付けている。