[論文レビュー] JESC: Japanese-English Subtitle Corpus

Reid Pryzant, Yong-Joo Chung+2 more|arXiv (Cornell University)|Oct 29, 2017

Natural Language Processing Techniques参考文献 18被引用数 3

ひとこと要約

本稿では、会話文を焦点とした、320万組の字幕ペアを含む、公開済みで最大の日本語-英語並列コーパスであるJESCを紹介する。Webクローリングと協働的に収集された字幕を、流暢さと整合性を向上させるための新規前処理を施した結果、高品質な二か国語間整合性を達成し、機械翻訳ベンチマークにおいて、特にドメイン外一般化性能で既存のデータセットを上回った。

ABSTRACT

In this paper we describe the Japanese-English Subtitle Corpus (JESC). JESC is a large Japanese-English parallel corpus covering the underrepresented domain of conversational dialogue. It consists of more than 3.2 million examples, making it the largest freely available dataset of its kind. The corpus was assembled by crawling and aligning subtitles found on the web. The assembly process incorporates a number of novel preprocessing elements to ensure high monolingual fluency and accurate bilingual alignments. We summarize its contents and evaluate its quality using human experts and baseline machine translation (MT) systems.

研究の動機と目的

• 会話的日本語-英語対訳文の分野において、大規模かつ高品質な並列コーパスが不足している問題に対処すること。
• ファン・サブタイトルのメディアから得た大規模で多様なデータセットを提供することで、機械翻訳システムの口語的・口語的言語への一般化能力を向上させること。
• ノイズの多い協働的収集された字幕データにおいて、単語レベルの流暢さと二か国語間整合性の正確性を向上させる前処理パイプラインを開発・公開すること。
• マルチリファレンスBLEU評価を支援するデータセットを構築すること。これは大規模並列コーパスにおいて希な特徴であり、翻訳品質の評価をより洗練させることを可能にする。
• 完全なコーパス、ツール、クローラー、パーサーを公開することで、自然言語処理研究分野における再現可能性と広範な採用を促進すること。

提案手法

• 4つのオープンリポジトリ（kitsunekko.net、d-addicts.com、opensubtitles.org、subscene.com）から字幕をクローリングし、23,318タイトルにわたる1億以上のキャプションを収集した。
• ffmpegとchardetを用いて、すべての字幕ファイルをUTF-8および.srt形式に統一し、タイムスタンプとテキストを含む構造化されたYAML形式にパースした。
• Birkbeckコーパスで学習したラプラス平滑化付き統計的誤字訂正モデルを用い、英語字幕のスペルミスやタイプミスを訂正した。
• タイムスタンプ照合による時間的整合性を介して日本語と英語のキャプション間の整合性を確保し、その後、誤って整合化されたペアを除外するフィルタリングステップを実施した。
• 163,665個の日本語フレーズと130,790個の英語フレーズに対して複数の翻訳を用意するマルチリファレンス翻訳設定を実装し、評価の堅牢性を向上させた。
• サブワードトークン化（16k共有ボキャブラリー）されたデータを用い、双方向LSTM、アテンション機構、ドロップアウト、Adam最適化を用いたseq2seqモデルをトレーニングし、下流のMT評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い入力にもかかわらず、大規模でWebクロールされたファン・サブタイトルメディアの並列コーパスが、高品質な二か国語間整合性と単語レベルの流暢さを達成できるか？
• RQ2 大規模で会話的ドメインに特化した日本語-英語並列コーパスは、より小規模でフォーマルドメインに特化したデータセットと比較して、ニューラル機械翻訳におけるドメイン外一般化性能を向上させるか？
• RQ3 字幕における協働的・非プロフェッショナル翻訳が、翻訳の的確さと流暢さをどれほど維持しているか？
• RQ4 大規模並列コーパスにマルチリファレンス翻訳ペアを組み込むことで、BLEUスコアの向上とより堅牢な評価ベンチマークの提供が顕著に可能になるか？
• RQ5 JESCのサイズとドメイン多様性は、ASPEC、OpenSubs、KWCといった既存のコーパスと比較して、下流のMT性能においてどのように差をつけるか？

主な発見

• JESCには320万組の並列文ペアが含まれており、これまでに公開された中で最大の自由利用可能な日本語-英語並列コーパスである。
• 人的評価では、75%の文ペアが完全に整合しており、Cohenのカッパ係数が0.76に達した。これは、強いアノテーター間一貫性と信頼できる整合性品質を示している。
• 翻訳のJPO的確さスコアの平均は5点満点中4.82点であり、口語的起源にもかかわらず、協働的収集された字幕が高品質な翻訳を維持していることを確認した。
• 機械翻訳評価において、JESCは自らのテストセットでBLEUスコア14.21を達成し、OpenSubs（10.01）とASPEC（36.23）を上回った。ASPECがより大規模であるにもかかわらず、ドメイン外一般化性能で優れた結果を示した。
• JESCでトレーニングされたモデルは、より小規模またはフォーマルドメインに特化したコーパスでトレーニングされたモデルよりも、より優れた一般化性能を示した。これは、会話的データがMTの耐障害性向上に寄与することの価値を示している。
• 13万以上ものフレーズに対してマルチリファレンス翻訳が組み込まれており、より信頼性が高く、洗練された評価が可能になった。これは、大多数の大規模MTベンチマークに欠けている特徴である。