[論文レビュー] Noisy-parallel and comparable corpora filtering methodology for the extraction of bi-lingual equivalent data at sentence level

Krzysztof Wok|arXiv (Cornell University)|Oct 15, 2015

Natural Language Processing Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、ノイジィな並列コーパスおよび比較可能コーパスから高品質な二語対応文ペアを抽出するための言語に依存しない文単位のフィルタリング手法を提案する。この手法は、意味的・構造的・類義語的分析を含むヒューリスティックベースの比較を用い、データ損失を最小限に抑えつつデータをクリーニングする。この手法をTED TalksおよびWikipediaコーパスに適用することで、機械翻訳システムの性能が向上することが示された。

ABSTRACT

Text alignment and text quality are critical to the accuracy of Machine Translation (MT) systems, some NLP tools, and any other text processing tasks requiring bilingual data. This research proposes a language independent bi-sentence filtering approach based on Polish (not a position-sensitive language) to English experiments. This cleaning approach was developed on the TED Talks corpus and also initially tested on the Wikipedia comparable corpus, but it can be used for any text domain or language pair. The proposed approach implements various heuristics for sentence comparison. Some of them leverage synonyms and semantic and structural analysis of text as additional information. Minimization of data loss was ensured. An improvement in MT system score with text processed using the tool is discussed.

研究の動機と目的

• 機械翻訳に用いられる並列および比較可能コーパスにおける低品質でノイジーな文対応の課題に対処すること。
• 言語的多様性を保持するとともに、クリーニング中にデータ損失を最小限に抑えるフィルタリング手法を開発すること。
• 多様なドメインおよび言語対に対応して、高品質な二語対応文ペアを効果的に抽出できること。
• 高品質な学習データを提供することで、下流の機械翻訳システムの性能を向上させること。
• さまざまなテキストドメインおよび言語対に適用可能なスケーラブルで言語に依存しないソリューションを提供すること。

提案手法

• この手法は、複数のヒューリスティクスを用いて言語間の文を比較するマルチヒューリスティクスアプローチを採用し、構造的・意味的・語彙的類似性に焦点を当てる。
• 同義語検出と意味的分析を活用して、語彙的変動があっても同等の文ペアを同定する。
• 言語に依存しない設計となっており、ポーランド語-英語ペアを用いて検証されたが、任意の言語対に適用可能である。
• 文字列レベルのマッチング、品詞アラインメント、意味的埋め込み比較の組み合わせを用いて、文の同等性を評価する。
• フィルタリングパイプラインでは、ヒューリスティクスを段階的に適用することで、候補となる文ペアを段階的に精錬し、誤検出を低減する。
• この手法はTED Talksコーパスで検証され、初期的にWikipediaの比較可能コーパスでもテストされ、ドメインを越えて堅牢性を示した。

実験結果

リサーチクエスチョン

• RQ1 ノイジィな並列および比較可能コーパスをどのように効果的にフィルタリングし、高品質な二語対応文ペアを抽出できるか？
• RQ2 言語固有の特徴に依存せずに、ヒューリスティックベースの手法がどの程度対応品質を向上させられるか？
• RQ3 意味的および構造的分析は、ノイジーなデータにおける真の二語対応文ペアの検出をどのように向上させられるか？
• RQ4 データクリーニングが下流の機械翻訳システムの性能に与える影響は何か？
• RQ5 文対応の精度を維持しつつ、フィルタリングプロセスにおけるデータ損失をどのように最小限に抑えられるか？

主な発見

• このフィルタリング手法は、清浄化された学習データに適用することで、機械翻訳システムのスコアを顕著に向上させた。
• ノイジーで非並列コーパスであっても、真の二語対応文ペアを高い精度で同定できた。
• TED TalksおよびWikipediaを含むさまざまなドメインで有効性を示し、広範な適用可能性を示した。
• 文字列マッチング手法と比較して、意味的および構造的ヒューリスティクスの使用により誤検出が減少した。
• 多段階のフィルタリングプロセスにより、言語的に多様で関連性の高い文ペアを保持しながら、データ損失を最小限に抑えた。
• 言語に依存しない設計により、再トレーニングや言語固有のチューニングなしに、任意の言語対に適応可能である。