[論文レビュー] Subword Sampling for Low Resource Word Alignment

Ehsaneddin Asgari, Masoud Jalili Sabet+3 more|arXiv (Cornell University)|Dec 21, 2020

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、複数のサブワード分割を統合することで、低リソース言語対における単語レベルのアライメントを向上させるサブワードサンプリング手法を提案する。反復的ベイズ最適化フレームワークを用いて最適なサブワードを選択し、6つの言語対で10万句以上の文を使用した単語レベルモデルと同等のF1スコアを、たった5,000件の並列文で達成する。さらに、転送可能なハイパーパラメータを備え、未学習言語に対してもゼロショットで改善をもたらす。

ABSTRACT

Annotation projection is an important area in NLP that can greatly contribute to creating language resources for low-resource languages. Word alignment plays a key role in this setting. However, most of the existing word alignment methods are designed for a high resource setting in machine translation where millions of parallel sentences are available. This amount reduces to a few thousands of sentences when dealing with low-resource languages failing the existing established IBM models. In this paper, we propose subword sampling-based alignment of text units. This method's hypothesis is that the aggregation of different granularities of text for certain language pairs can help word-level alignment. For certain languages for which gold-standard alignments exist, we propose an iterative Bayesian optimization framework to optimize selecting possible subwords from the space of possible subword representations of the source and target sentences. We show that the subword sampling method consistently outperforms word-level alignment on six language pairs: English-German, English-French, English-Romanian, English-Persian, English-Hindi, and English-Inuktitut. In addition, we show that the hyperparameters learned for certain language pairs can be applied to other languages at no supervision and consistently improve the alignment results. We observe that using $5K$ parallel sentences together with our proposed subword sampling approach, we obtain similar F1 scores to the use of $100K$'s of parallel sentences in existing word-level fast-align/eflomal alignment methods.

研究の動機と目的

• 並列コーパスに数え千の文しか存在しない低リソース言語対における信頼性の低い単語アライメントの課題に対処すること。
• 言語間の言語的単位の正確なマッピングを可能にすることで、低リソース言語のアノテーションプロジェクションを改善すること。
• サブワードレベルの粒度を用いることで、標準的な単語レベルアライメントを低リソース環境で上回る手法を開発すること。
• 追加の監視なしに、言語対間で学習済みハイパーパラメータを転送可能にする仕組みを提供すること。

提案手法

• ソースおよびターゲット文の可能性のあるBPEサブワード分割の空間からサンプリングを行い、多様なテキスト粒度を探索する。
• 可用な参照データを備えた言語のゴールドスタンダードアライメントに基づき、反復的ベイズ最適化フレームワークを用いて最も効果的なサブワード候補を選択する。
• サブワード表現はバイトペアエンコーディング（BPE）により生成され、複数の分割を検討することでアライメントのロバスト性を向上させる。
• F1スコアを最大化するように、サブワードサンプリングのハイパーパラメータ（例：サブワード統合閾値）を最適化する。
• 特定の言語対のゴールドスタンダードアライメントで学習した後、他の言語対に追加の監視なしに適用する。
• 複数のサブワード粒度を組み合わせることでアライメント性能が向上することに着目し、特に学習データが限られた状況で顕著である。

実験結果

リサーチクエスチョン

• RQ1 限定的な並列文を有する低リソース言語対において、サブワードサンプリングが単語レベルアライメント性能を向上させ得るか？
• RQ2 固定された単語レベルアライメントと比較して、複数のサブワード分割の集約がアライメント精度をどのように向上させるか？
• RQ3 1つの言語対で学習したハイパーパラメータが、監視なしに他の言語対へ効果的に転送可能か？
• RQ4 サブワードサンプリングにより、高リソース単語レベルモデルと同等の性能を得るために必要な並列文数をどの程度削減できるか？
• RQ5 トポロジカルに遠く離れた言語対を含む、多様な言語対において、本手法は一貫した改善を示すか？

主な発見

• 本手法は、英語＝ドイツ語、英語＝フランス語、英語＝ルーマニア語、英語＝ペルシャ語、英語＝ヒンディー語、英語＝イヌクティトゥト語の6つの言語対において、一貫して単語レベルアライメントを上回った。
• たった5,000件の並列文を使用するだけで、標準的な単語レベルアライメント手法で10万句以上の文を必要とするF1スコアに相当する性能を達成した。
• 英語＝イヌクティトゥト語対では、5,000文で34万文の単語レベルモデルと同等のF1スコアを達成した。
• 英語＝ペルシャ語対では、5,000文で60万文の単語レベルモデルと同等のF1スコアを達成した。
• 1つの言語対で学習したハイパーパラメータは、他の言語対へ監視なしに効果的に転送され、一貫してアライメント結果を改善した。
• 本手法は強力な一般化性能を示し、50万～60万文の中リソース設定でも高品質なアライメントを実現した。