[論文レビュー] Unsupervised Pidgin Text Generation By Pivoting English Data and Self-Training

Ernie Chang, David Ifeoluwa Adelani+2 more|arXiv (Cornell University)|Mar 18, 2020

Natural Language Processing Techniques参考文献 15被引用数 17

ひとこと要約

本稿では、ドメイン固有の英語テキストをピボットとして用い、自己学習を適用することで、構造化データからピジン英語のテキストを教師なしで生成する手法を提案する。ベースラインの教師なしモデルに比べ、より自然な表現と関連性の高い出力を達成しており、並列データが限られる低リソース環境下でも、ピジン英語の自然言語生成に実用的な道筋を示している。

ABSTRACT

West African Pidgin English is a language that is significantly spoken in West Africa, consisting of at least 75 million speakers. Nevertheless, proper machine translation systems and relevant NLP datasets for pidgin English are virtually absent. In this work, we develop techniques targeted at bridging the gap between Pidgin English and English in the context of natural language generation. %As a proof of concept, we explore the proposed techniques in the area of data-to-text generation. By building upon the previously released monolingual Pidgin English text and parallel English data-to-text corpus, we hope to build a system that can automatically generate Pidgin English descriptions from structured data. We first train a data-to-English text generation system, before employing techniques in unsupervised neural machine translation and self-training to establish the Pidgin-to-English cross-lingual alignment. The human evaluation performed on the generated Pidgin texts shows that, though still far from being practically usable, the pivoting + self-training technique improves both Pidgin text fluency and relevance.

研究の動機と目的

• 西アフリカのピジン英語における自然言語生成タスクの実装にあたって、並列学習データや機械翻訳システムが不足している問題に対処すること。
• ドメイン外の英語→ピジン翻訳モデルとドメイン固有のデータ→テキスト生成ニーズの間のドメインギャップを埋めること。
• 構造化データから自然で関連性の高いピジン英語のテキストを生成できる教師なしニューラルテキスト生成システムを開発すること。
• ピボットとしてのドメイン固有英語と、擬似並列データに対する自己学習を活用することで、低リソースピジン英語のテキスト生成を改善すること。

提案手法

• ドメイン固有の英語テキストとドメイン外の単語文ピジンデータを用いて、教師なしニューラル機械翻訳モデル（$model_{unsup}$）を学習する。
• 生成された$model_{unsup}$を用いて、ドメイン固有の英語入力から擬似並列ピジン翻訳を生成し、拡張された並列学習ペアを構築する。
• 擬似並列データと単語文コーパスを組み合わせて、$model_{unsup}$を再学習することで$model_{self}$を生成する。
• FastText埋め込みを用いて、英語とピジン間のクロスリンガル表現学習を実現する。
• E2Eデータ→テキストコーパスをドメイン固有の学習と評価に使用し、レストラン分野に焦点を当てる。
• ネイティブのピジン英語話者による人間評価を実施し、出力の関連性と自然さを評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の英語テキストをピボットとして効果的に活用することで、教師なしピジン英語テキスト生成が向上するか？
• RQ2 擬似並列データに対する自己学習は、ピジン英語テキスト生成における自然さと関連性をどの程度向上させるか？
• RQ3 事前学習済みの教師なしNMTモデルと、下流のNLGタスクとの間のドメイン不一致が、生成品質にどの程度影響を及えるか？
• RQ4 教師なし技術によって、入力データと意味的に関連性があり、自然なピジン英語の出力を生成できるか？

主な発見

• 自己学習モデル（$model_{self}$）は、テストセットで関連性スコア0.434を達成し、$model_{unsup}$（0.319）とPidginUNMT（0.038）を有意に上回った。
• 自然さスコアは$model_{self}$で0.814に向上し、$model_{unsup}$（0.788）を上回り、PidginUNMT（0.827）と同等の水準に達した。
• 人間評価により、$model_{self}$はベースラインの教師なしモデルに比べ、より関連性があり、読みやすいピジン英語テキストを生成することが確認された。
• ドメイン固有の英語をピボット言語として用いることで、低リソースピジン生成におけるドメイン不一致問題が効果的に軽減された。
• 自己学習によって生成された擬似並列データは、特に関連性の向上において、モデルの改善に寄与した。