[論文レビュー] Data Selection with Cluster-Based Language Difference Models and Cynical Selection

L. Santamaría, Amittai Axelrod|arXiv (Cornell University)|Apr 9, 2019

Natural Language Processing Techniques参考文献 16被引用数 9

ひとこと要約

本稿では、機械翻訳のための2つの新規なデータ選択手法を導入し、評価している：ブラウンクラスタを用いたクラスタベースの言語差分モデルと、皮肉なデータ選択（cynical data selection）である。部分品詞（POS）タグの代わりに教師なし語クラスタリングを用い、グリーディで反復的な選択戦略を適用することで、両手法とも標準的なムーア＝ルイスの交差エントロピー差分法に比べ、パープレキシティ、OOV率、ドメイン内文の長さマッチングの面で優れている。また、皮肉な選択法は収束が84%速く、より良い語彙カバレッジを達成している。

ABSTRACT

We present and apply two methods for addressing the problem of selecting relevant training data out of a general pool for use in tasks such as machine translation. Building on existing work on class-based language difference models, we first introduce a cluster-based method that uses Brown clusters to condense the vocabulary of the corpora. Secondly, we implement the cynical data selection method, which incrementally constructs a training corpus to efficiently model the task corpus. Both the cluster-based and the cynical data selection approaches are used for the first time within a machine translation system, and we perform a head-to-head comparison. Our intrinsic evaluations show that both new methods outperform the standard Moore-Lewis approach (cross-entropy difference), in terms of better perplexity and OOV rates on in-domain data. The cynical approach converges much quicker, covering nearly all of the in-domain vocabulary with 84% less data than the other methods. Furthermore, the new approaches can be used to select machine translation training data for training better systems. Our results confirm that class-based selection using Brown clusters is a viable alternative to POS-based class-based methods, and removes the reliance on a part-of-speech tagger. Additionally, we are able to validate the recently proposed cynical data selection method, showing that its performance in SMT models surpasses that of traditional cross-entropy difference methods and more closely matches the sentence length of the task corpus.

研究の動機と目的

• 大規模で汎用的なコーパスからドメイン特化した機械翻訳タスクのための関連データを選択する課題に対処すること。
• 生成モデルフレームワーク内での判別スコアに依存するムーア＝ルイスの交差エントロピー差分法の限界を克服すること。この方法は短く一般的な文を好む傾向がある。
• ブラウンクラスタリングが、品詞ベースのクラスベース言語差分モデルの代替として、言語的および状況に依存しない選択肢として機能できるかどうかを検討すること。
• ニューラル機械翻訳の文脈において、最近提唱された皮肉なデータ選択法の実証的妥当性を検証し、既存のベースラインと性能を比較すること。
• OOV率の低減とドメイン内文の長さ分布への適合を高めることで、データ選択の効率性と有効性を向上させること。

提案手法

• 訓練コーパスおよびタスクコーパス内の語を、ブラウンクラスタラベル（例：20または100クラスタ）に置き換えることで、品詞タギングを必要とせずに語彙的意味を捉えるクラスベース表現を構築する。
• ドメイン内タスクデータと一般プールデータの両方の言語モデルを、クラスタベース表現を用いて学習し、交差エントロピー差分スコアを計算する。
• 皮肉なデータ選択アルゴリズムを適用する。この手法は、タスクへの類似性と、すでに選択済みの文との多様性のバランスを取った、グリーディで判別的なスコアに基づき、段階的に文を選択する。
• ムーア＝ルイス基準の修正版を用いる。ここでスコアは、各文についてタスク言語モデルとプール言語モデルの交差エントロピーの絶対差として計算される。
• 双方向コーパスのためのデータ選択では、元語と対訳語の両側からの交差エントロピー差分スコアを組み合わせる。
• 文をその選択スコアでソートし、上位n個の文（または文ペア）を選択して訓練に使用する。皮肉な手法では、累積的利益に基づき動的に選択を調整する。

実験結果

リサーチクエスチョン

• RQ1 ブラウンクラスタベースの言語差分モデルは、品詞ベースまたは標準のムーア＝ルイス手法に比べ、機械翻訳におけるデータ選択性能を向上させることができるか？
• RQ2 皮肉なデータ選択法は、低リソースまたはドメイン適応型MT環境において、従来の交差エントロピー差分法に比べて収束が速く、より優れた性能を発揮するか？
• RQ3 提案手法は、ベースライン手法に比べて、OOV率をどの程度低減し、ドメイン内文の長さ分布にどの程度適合しているか？
• RQ4 品詞タギングの代わりに教師なしクラスタリングを用いることで、低リソースまたはドメインシフト状況におけるデータ選択の頑健性と一般化性能にどのような影響を与えるか？
• RQ5 皮肉な選択法とクラスタベースまたは標準のムーア＝ルイス選択法を比較した場合、計算効率とモデル品質のトレードオフはどのようなものか？

主な発見

• クラスタベースの言語差分モデルは、標準のムーア＝ルイス法に比べ、ドメイン内データにおけるOOV率の低減とパープレキシティの向上を達成した。200万文では29.19 BLEU、600万文では29.90 BLEUを記録した。
• 皮肉なデータ選択法は、他の手法に比べ84%少ない学習データで収束を達成し、ほぼすべてのドメイン内語彙をはるかに少ない文数でカバーした。
• 皮肉な選択法は、ドメイン内平均（19語）とよく一致する平均文長（19語）のサブコーパスを生成したが、ムーア＝ルイスの変種はプール平均よりも顕著に短い文を生成した。
• 皮肉な手法は、すべてのムーア＝ルイス変種を上回るBLEUスコアを達成した。単語コーパスでは200万文で29.33、600万文で29.69を記録した。双方向コーパスでは、200万文で29.34、600万文で29.93を記録した。
• 60GBのメモリ使用量と1日間の実行時間という高いリソースコストを有するが、皮肉な手法は優れた性能とドメイン内特性への整合性を示し、SMTシステムにおける有効性を裏付けた。
• クラスタベースのアプローチにより、品詞タガーラーへの依存が排除され、低リソースまたはドメインシフト状況で品詞タガーラーが失敗するか利用不可となる状況でも、より頑健な選択が可能になった。