[論文レビュー] Impact of Corpora Quality on Neural Machine Translation

Matīss Rikters|arXiv (Cornell University)|Oct 19, 2018

Natural Language Processing Techniques参考文献 7被引用数 6

ひとこと要約

本稿では、Webクロールから得られる大規模な並列コーパスのような低品質な文を除去することで、ニューラル機械翻訳（NMT）の性能を向上させる包括的なフィルターツールのセットを提案する。重複、同一、不一致、非アルファベット文字、繰り返しトークン、言語不一致の文に対するフィルタを適用することで、著者らはフィルタリングがNMT性能を向上させることを示している。特にエストニア語やラトビア語のような屈折語のような言語において顕著な向上が見られ、ノイズが多いデータの78–85%を除去した後、英語-ラトビア語翻訳で最大+1.60 BLEUの向上が達成された。

ABSTRACT

Large parallel corpora that are automatically obtained from the web, documents or elsewhere often exhibit many corrupted parts that are bound to negatively affect the quality of the systems and models that learn from these corpora. This paper describes frequent problems found in data and such data affects neural machine translation systems, as well as how to identify and deal with them. The solutions are summarised in a set of scripts that remove problematic sentences from input corpora.

研究の動機と目的

• 大規模に自動収集された並列コーパスに見られる一般的なデータ品質問題を特定し、体系的に分類すること。
• NMTの学習前に低品質な文ペアを検出し除去する実用的でオープンソースのフィルタのセットを開発すること。
• 複数の言語ペア、特に屈折語に特化した言語において、これらのフィルタがNMT性能に与える影響を評価すること。
• 清浄なデータが限られる状況において、ノイズの多いコーパスをフィルタリングすることで収束が早まり、BLEUスコアが向上することを示すこと。
• バックトランスレーションや非教師あり機械翻訳のパイプラインにおいて、並列および単語語彙データのクリーニングに再利用可能な、MITライセンスのツールキットを提供すること。

提案手法

• 著者らは、重複する文ペア、同一のソース-ターゲット文、一対多または多対一のアラインメント、非アルファベット記号の過剰使用、繰り返しトークン、言語識別不一致といった特定のデータ品質問題を対象としたフィルタを定義・実装した。
• フィルタは、ラインごとにアラインメントされた構造を持つ並列コーパスに適用され、言語識別（fasttext）、文字解析、アラインメントチェックを用いて問題のある文を特定した。
• フィルタリングパイプラインは、トークナイゼーション、トゥルーキャーシング、バイトペアエンコーディングのためのSubword NMTを含む、標準的なNMTワークフローと統合された。
• ツールキットはWMT-18の並列コーパス（英語-エストニア語、フィンランド語、ラトビア語）に適用され、Sockeyeを用いて6層、8ヘッド、512次元の埋め込みを備えたTransformerアーキテクチャでモデルを学習した。
• 性能評価は、開発セットにおけるBLEUスコアを用い、フィルタリング済みと未フィルタリングのコーパスを両翻訳方向で比較した。
• 本手法は実世界のシステムでも検証され、WMT18のランナーアップNMT提出物の一部としても使用された。

実験結果

リサーチクエスチョン

• RQ1 大規模に自動抽出された並列コーパスに一般的に見られる低品質な文の種類は何か？
• RQ2 さまざまなフィルタリング技術がNMTモデルの学習ダイナミクスと最終的性能に与える影響はいかほどか？
• RQ3 ノイズの多い並列コーパスをフィルタリングすることで、NMTの品質がどの程度向上するか、特に屈折語に特化した言語においては？
• RQ4 フィルタリングによって64%のデータを除去したにもかかわらず、フィンランド語ペアでは性能向上が見られなかったのはなぜか？
• RQ5 提案されたフィルタリングパイプラインは、バックトランスレーションや非教師ありMTにおける単語語彙データのクリーニングに効果的に再利用可能か？

主な発見

• フィルタリングにより、英語-エストニア語の並列コーパスは元のサイズの46.50%にまで縮小され、言語不一致および非アルファベット問題のため80%の文が削除された。
• フィルタリング済みのエストニア語NMTシステムは、未フィルタリングモデルと比較して+0.35 BLEUの向上を達成し、収束が速く、性能低下も見られなかった。
• ラトビア語の場合、78%のデータが削除された（主に言語不一致および非アルファベットコンテンツのため）、英語-ラトビア語翻訳方向で+1.60 BLEUの向上が得られた。
• フィンランド語システムでは、フィルタリングによる顕著な向上が見られなかった。これは、最大かつ最も清浄なデータであるEuroparlコーパスが全体に占める割合が大きく、フィルタリングの恩恵が隠れていたためである。
• フィルタリング済みのシステムは未フィルタリングのものよりも収束が速く、ノイズを除去することで学習が加速することが示されたが、最終的な性能に悪影響は与えなかった。
• このツールキットはWMT18ランナーアップNMTシステムでも成功裏に使用され、実際の生産環境での適用可能性を実証した。