[論文レビュー] Chinese Discourse Segmentation Using Bilingual Discourse Commonality

Jingfeng Yang, Sujian Li|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 40被引用数 6

ひとこと要約

本稿では、中国語の話法分割のためのクロスリンガル敵対的ニューラルネットワークフレームワークを提案する。英語ラベル付き話法データを活用することで、中国語のアノテート済みデータの不足を補う。敵対的訓練を通じて二か国語の話法共通性を活用し、共有される言語に依存しない特徴と言語固有の表現を学習することで、限られた中国語学習データでも最先端の性能を達成する。

ABSTRACT

Discourse segmentation aims to segment Elementary Discourse Units (EDUs) and is a fundamental task in discourse analysis. For Chinese, previous researches identify EDUs just through discriminating the functions of punctuations. In this paper, we argue that Chinese EDUs may not end at the punctuation positions and should follow the definition of EDU in RST-DT. With this definition, we conduct Chinese discourse segmentation with the help of English labeled data.Using discourse commonality between English and Chinese, we design an adversarial neural network framework to extract common language-independent features and language-specific features which are useful for discourse segmentation, when there is no or only a small scale of Chinese labeled data available. Experiments on discourse segmentation demonstrate that our models can leverage common features from bilingual data, and learn efficient Chinese-specific features from a small amount of Chinese labeled data, outperforming the baseline models.

研究の動機と目的

• 基本的話法単位（EDU）分割のための高品質でRST準拠の中国語話法アノテート済みデータの不足に対処すること。
• 中国語のEDUは句読点の境界に制限されるべきではなく、RST-DTと同様に意味的・構文的基準に従うべきであると主張すること。
• 豊富な英語ラベル付きデータから中国語話法分割のための話法知識を転移する手法を開発すること。
• 敵対的訓練を介して、言語に依存しない共通特徴と言語固有の特徴を同時に学習するフレームワークを設計すること。
• クロスリンガル話法共通性が中国語EDU分割性能の向上に寄与するかを評価すること。

提案手法

• 言語に依存しない特徴抽出のための共有BiLSTMと、言語固有の特徴学習のための2つのプライベートBiLSTMを備えた敵対的ニューラルネットワークフレームワークを設計する。
• 言語敵対的訓練を適用し、言語固有の特徴から共有される話法パターンを分離することで、英語から中国語への知識転移を可能にする。
• クロスリンガル整合性を高め、言語間での転送性を向上させるために、ユニバーサルPOSタグを入力埋め込みとして使用する。
• モデルは英語話法データ上でエンドツーエンドに学習され、小規模な中国語コーパス上でシーケンスラベル付け設定でファインチューニングされる。
• フレームワークは話法分割をシーケンスラベル付けタスクとして扱い、BiLSTM出力の上にCRF層を設けてEDU境界を予測する。
• 言語識別器を導入し、共有特徴におけるドメイン不変性を強制することで、モデルが話法構造に関連する特徴を学習し、言語固有の特徴に偏らないようにする。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベル付きデータが不足する状況下で、英語と中国語の間の話法共通性を効果的に活用できるか？
• RQ2 敵対的訓練によって抽出された言語に依存しない特徴は、中国語話法分割性能に有意義に寄与するか？
• RQ3 ユニバーサルPOSタグの使用は、言語固有のPOSタグセットよりも、クロスリンガル話法特徴学習において効果的か？
• RQ4 中国語ラベル付きデータの増加に伴い、モデルの性能はどのように変化するか？
• RQ5 単語言語的または非敵対的クロスリンガル学習に依存するベースライン手法よりも、本モデルは優れているか？

主な発見

• 提案されたモデルは中国語話法分割においてベースラインモデルを上回り、敵対的特徴学習による英語ラベル付きデータの活用の有効性を示した。
• 中国語学習データがたった200文のわずかでも、顕著な性能向上が達成された。これは、高いデータ効率性を示している。
• ユニバーサルPOSタグの使用は、言語固有のPOSタグセットよりも優れた性能をもたらした。これは、クロスリンガル話法モデリングにおいてユニバーサルPOSタグの価値を裏付けた。
• 完全モデルとNoAdversバージョンとの性能差から、共有される言語に依存しない特徴が、分割精度に有意義に寄与していることが明らかになった。
• 中国語学習データが増加するにつれて、モデルの性能は継続的に向上した。これは、モデルがより多くのラベル付きデータに適応して効果的にスケーリングできることを示唆している。