[論文レビュー] Open Subtitles Paraphrase Corpus for Six Languages

Mathias Creutz|arXiv (Cornell University)|Sep 17, 2018

Subtitles and Audiovisual Media被引用数 28

ひとこと要約

本稿では、映画・テレビの字幕から抽出した、ドイツ語、英語、フィンランド語、フランス語、ロシア語、スウェーデン語の6ヶ国語を対象とする多言語パラフレーズコーパス「Opusparcus」を紹介する。マルチピボット言語手法を用い、自動スコアリングと手動検証を組み合わせることで、大規模で口語的なパラフレーズペアを構築した。学習用データセットは数百万ペア、開発・テスト用データセットは各言語で約1,000ペアの手動検証済みデータを含み、自然言語処理およびコンピュータ支援言語学習の分野において貴重なリソースを提供する。

ABSTRACT

This paper accompanies the release of Opusparcus, a new paraphrase corpus for six European languages: German, English, Finnish, French, Russian, and Swedish. The corpus consists of paraphrases, that is, pairs of sentences in the same language that mean approximately the same thing. The paraphrases are extracted from the OpenSubtitles2016 corpus, which contains subtitles from movies and TV shows. The informal and colloquial genre that occurs in subtitles makes such data a very interesting language resource, for instance, from the perspective of computer assisted language learning. For each target language, the Opusparcus data have been partitioned into three types of data sets: training, development and test sets. The training sets are large, consisting of millions of sentence pairs, and have been compiled automatically, with the help of probabilistic ranking functions. The development and test sets consist of sentence pairs that have been checked manually; each set contains approximately 1000 sentence pairs that have been verified to be acceptable paraphrases by two annotators.

研究の動機と目的

• 口語的で非形式的な字幕データから大規模で多言語のパラフレーズコーパスを構築し、自然言語処理および言語学習を支援すること。
• 単一ピボット言語ではなく複数のピボット言語を用いることで、丁寧さや数の違いといった言語的差異をより効果的に保持する方法を改善すること。
• 6ヶ国語の各言語について、バランスの取れた手動検証済みの学習・開発・テストセットを提供すること。
• 文レベルの対称的で、句読点のないフレーズや文法的制約のないパラフレーズリソースを提供すること。
• 研究利用を目的として、フィンランド言語バンクを通じてコーパスを公開すること。

提案手法

• パラフレーズは、OpenSubtitles2016の並列コーパスから、複数のピボット言語を介した翻訳手法（元の言語 → 複数のピボット言語 → 目的言語）を用いて抽出する。
• 確率的スコアリング関数を用いて、高品質なパラフレーズ候補を自動的にスコア付けし、学習用データセットに選定する。
• 開発およびテスト用データセットには、2名のアノテーターが四段階評価基準（良し、ほとんど良し、ほとんど悪し、悪い）を用いて各ペアを検証する手動アノテーションを適用する。
• アノテーション方式により対称性を確保：パラフレーズペアは相互に交換可能とみなされ、非対称な含意関係を避ける。
• 最終的なコーパスは、6ヶ国語それぞれについて学習・開発・テストセットに分割され、学習用データセットには数百万の文ペアが含まれる。
• 構文的制約や句読点のないフレーズに依存しない方法を採用し、完全な文のパラフレーズに焦点を当てることで、慣用的・スタイル的変化を捉える。

実験結果

リサーチクエスチョン

• RQ1 マルチピボット言語手法は、単一ピボット手法と比較して、丁寧さや数の違いといった言語的差異をより効果的に保持できるか？
• RQ2 確率的関数を用いた自動スコアリングは、字幕データから高品質なパラフレーズペアを特定するのにどの程度有効か？
• RQ3 各言語で約1,000ペアの手動アノテーションによる開発・テストセットは、パラフレーズ品質の信頼性と一貫性をどの程度保証できるか？
• RQ4 字幕からの口語的・非形式的な言語は、コンピュータ支援言語学習およびNLPタスクのための実用的で価値のあるリソースとして適しているか？
• RQ5 パラフレーズペアの対称的取り扱いは、下流の応用におけるコーパスの有用性と解釈にどのような影響を与えるか？

主な発見

• Opusparcusコーパスの学習用データセットには、各言語で約100万ペアのパラフレーズペアが含まれており、OpenSubtitles2016データセットからマルチピボット翻訳と自動スコアリングを用いて抽出された。
• 各言語について、開発およびテスト用データセットには正確に1,000組の手動検証済みパラフレーズペアが含まれており、四段階評価基準によりアノテーター間の一貫性が裏付けられている。
• 複数のピボット言語の使用は、単一ピボット手法と比較して、言語的差異（例：フランス語の toi と vous の対比）の保持を顕著に向上させた。
• コーパスは自然で口語的な会話における慣用的・スタイル的変化（例：'It’s what we do.' ↔ 'This is our job.'）を効果的に捉えており、文法的制約のある手法では見逃されがちな表現も含む。
• パラフレーズペアの対称的取り扱いにより、ペア内の両方の文が同等とみなされ、含意ベースや条件付き確率ベースのシステムに見られる非対称性を回避する。
• コーパスはフィンランド言語バンクがホスティングし、研究および教育用途の長期的アクセスを保証して公開されている。