[論文レビュー] Grammatical Error Correction and Style Transfer via Zero-shot Monolingual Translation

Elizaveta Korotkova, Agnes Luhtaru+4 more|arXiv (Cornell University)|Mar 27, 2019

Natural Language Processing Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、タスク固有のアノテート済みデータを一切使用せずに、文法的誤り訂正（GEC）およびスタイル変換を実現するゼロショット単言語翻訳アプローチを提案する。多言語ニューラル機械翻訳（NMT）モデルを用い、言語およびドメイン要因を活用することで、入力言語と出力言語が同一の単言語翻訳を実現し、誤り訂正とスタイル適応を同時に実行する。英語、エストニア語、ラトビア語において、最小限のデータ要件で優れた性能を達成した。

ABSTRACT

Both grammatical error correction and text style transfer can be viewed as monolingual sequence-to-sequence transformation tasks, but the scarcity of directly annotated data for either task makes them unfeasible for most languages. We present an approach that does both tasks within the same trained model, and only uses regular language parallel data, without requiring error-corrected or style-adapted texts. We apply our model to three languages and present a thorough evaluation on both tasks, showing that the model is reliable for a number of error types and style transfer aspects.

研究の動機と目的

• 低リソースおよび多言語環境における文法的誤り訂正（GEC）およびスタイル変換のためのアノテート済みデータの不足に取り組む。
• 同じモデルアーキテクチャを用いてGECおよびスタイル変換の両方を実行する統合的アプローチを開発する。
• 誤り訂正済みデータやスタイル対応平行コーパスを必要とせず、複数言語にわたるゼロショット適応を可能にする。
• 誤り訂正およびスタイル変換タスクにおいて、ゼロショットNMTによる単言語翻訳の信頼性を実証する。
• エストニア語やラトビア語のような低リソース言語にも適用可能なスケーラブルで低リソースなソリューションを提供する。

提案手法

• 複数の言語対における標準的な平行コーパスを用いて、多言語・多ドメインのTransformerベースNMTモデルを学習する。
• 語彙レベルの要因（例：言語およびドメインタグ）を用いて、モデルの入力および出力言語およびスタイルを条件づけ、推論時に単言語翻訳を可能にする。
• 入力言語と出力言語を同一に設定することで単言語翻訳を実行し、潜在表現を通じて誤り訂正およびスタイル適応を実現する。
• 共有エンコーダーが持つ意味的に豊かな文表現を活用し、明示的な教師信号なしに効果的なスタイル変換および誤り訂正を実現する。
• ドメイン固有の平行コーパス（例：非公式な文脈にはOpenSubtitles、公式な文脈にはEuroparl）を用いて、スタイルに敏感な表現を学習する。
• 推論時に同じ入力言語と出力言語を設定し、NMTシステムのゼロショット一般化に依存して単言語変換を実行する。

実験結果

リサーチクエスチョン

• RQ1 1つの多言語NMTモデルが、タスク固有のアノテート済みデータを一切使用せずに、文法的誤り訂正およびスタイル変換を実行できるか？
• RQ2 ゼロショット単言語翻訳は、複数言語にわたってさまざまな誤りタイプ（例：文法的誤り、語彙的誤り、語順の誤り）をどれほど効果的に訂正できるか？
• RQ3 異なるスタイル的特徴（例：縮約形、フォーマル／カジュアル）に適応しながら、意味の保持とスムーズさをどの程度維持できるか？
• RQ4 GECおよびスタイル変換の両タスクにおいて、高リソース言語（英語）と低リソース言語（エストニア語、ラトビア語）でモデルの性能にどのような差が生じるか？
• RQ5 同じモデルアーキテクチャが、複数言語および複数スタイルにわたって一貫した性能を発揮し、GECおよびスタイル変換の両方をサポートできるか？

主な発見

• 本モデルは、GEC用のアノテート済みデータを一切使用せず、英語、エストニア語、ラトビア語において綴りの誤り、語順の誤り、文法的誤りを信頼性高く訂正した。
• スタイル変換においては、意味の保持とスムーズさを維持しながら、フォーマル／カジュアル、縮約形、語彙選択などのスタイルを効果的に転送した。
• 手動評価において、英語の縮約形やフォーマル／カジュアルなスタイルシフトにおいて、高いスムーズさと意味保持度を示した。
• 誤り訂正済み平行コーパスを一切使用しないにもかかわらず、GECタスクで競争力のある結果を達成し、低リソース環境ではルールベースシステムを上回った。
• 語彙選択の誤り（同義語の誤用など）に対しては効果がやや低いことが判明し、同義語や語彙選択の訂正処理における限界が示された。
• 本手法はスケーラブルかつ再現可能であり、標準的な平行コーパスのみを必要とし、追加のアノテーションが不要であるため、低リソース言語に適している。