[論文レビュー] Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models

Ling Liu, Mans Hulden|arXiv (Cornell University)|Apr 13, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、'wugテスト'条件下（未知の語幹が変形される状況）における変換器の一般化性能を向上させるために、ランダムな文字ではなく、音節に類似した部分文字列（バイグラム、トライグラム、フォーグラム）を用いた部分文字列ベースのデータホワリュケーションを提案する。この手法は、従来の文字レベルおよび語幹ベースのホワリュケーション手法を著しく上回り、特に訓練データとテストデータの間に語幹の被覆がないゼロショット一般化の状況で顕著な効果を示す。

ABSTRACT

Deep learning sequence models have been successfully applied to the task of morphological inflection. The results of the SIGMORPHON shared tasks in the past several years indicate that such models can perform well, but only if the training data cover a good amount of different lemmata, or if the lemmata that are inflected at test time have also been seen in training, as has indeed been largely the case in these tasks. Surprisingly, standard models such as the Transformer almost completely fail at generalizing inflection patterns when asked to inflect previously unseen lemmata -- i.e. under "wug test"-like circumstances. While established data augmentation techniques can be employed to alleviate this shortcoming by introducing a copying bias through hallucinating synthetic new word forms using the alphabet in the language at hand, we show that, to be more effective, the hallucination process needs to pay attention to substrings of syllable-like length rather than individual characters or stems. We report a significant performance improvement with our substring-based hallucination model over previous data hallucination methods when training and test data do not overlap in their lemmata.

研究の動機と目的

• 訓練データとテストデータの語幹が重複する標準的な設定では優れた性能を示すが、テスト時に未知の語幹が登場するゼロショット形態素変形において変換器がなぜ失敗するのかを調査すること。
• 語幹が未知の状況下で、変換器がコピーバイアスを示さない理由を解明すること。
• ランダムな文字生成よりも形態論的構造をよりよく捉えるように、合成データのホワリュケーションによるデータ拡張を導入することで一般化性能を向上させること。
• 音節に類似した長さの部分文字列（例：バイグラム、トライグラム）を用いたホワリュケーションが、文字レベルや語幹レベルのホワリュケーションよりも一般化性能を向上させるかどうかを評価すること。

提案手法

• 本手法は、実際の訓練例における語幹を、訓練データから抽出したバイグラム、トライグラム、フォーグラムから得られるダミー語幹に置き換えることで、合成された（語幹、品詞タグ、形態素）三元組を生成する。
• 語幹のアラインメントには、SIGMORPHON 2016のベースラインアラインメント手法を用い、語幹と目標形態素の間の共通部分文字列を同定する。
• ダミー語幹は、訓練データで観察された長さ範囲内に制限され、構造的妥当性を保証する。
• 不連続な語幹の場合、単純さを保つために最初のセグメントのみを置き換える。
• ホワリュケートされたデータを元の訓練データセットに加え、変換器モデルの学習に用いる新しい拡張データセットを構築する。
• 本手法は、アルファベットからランダムに生成された文字列を用いた文字レベルホワリュケーションおよびAnastasopoulos & Neubig (2019)の最先端の語幹ベースホワリュケーションと比較される。

実験結果

リサーチクエスチョン

• RQ1 豊富な訓練データがあるにもかかわらず、未知の語幹を変形する際、なぜ変換器が形態素変形パターンを一般化できないのか？
• RQ2 ホワリュケーションによるデータ拡張が、形態素変形におけるゼロショット一般化にどの程度効果をもたらすのか？
• RQ3 ホワリュケーションの単位（個々の文字、語幹、音節に類似した部分文字列）の選択が、'wugテスト'状況下でのモデル性能に影響を与えるか？
• RQ4 部分文字列ベースのホワリュケーションは、文字レベルや語幹レベルのホワリュケーションを上回り、コピーバイアスと一般化性能の両面で優れた性能を発揮できるか？

主な発見

• 標準的な訓練設定とは異なり、語幹の被覆がない'wugテスト'状況では、アンサンブル変換器モデルは完全に失敗し、訓練設定と比較して顕著に低い精度を示す。
• 語幹をアルファベットからランダムに生成された文字列に置き換えることで性能は向上するが、形態論的構造が欠落しているため、最適ではない。
• 音節に類似した長さの部分文字列（バイグラム、トライグラム、フォーグラム）を用いたホワリュケーションは、文字レベルおよび従来の語幹ベース手法よりも顕著な性能向上をもたらす。
• 本研究で提案する部分文字列ベースのホワリュケーション手法（+hall-2k-substr）は、'wugテスト'設定においてほとんどの言語で最高の精度を達成し、Anastasopoulos & Neubig (2019)および文字レベルホワリュケーションを上回る。
• トルコ語およびニャンジャ語では有意差は認められないが、依然として競争力のある性能を示す。
• データ拡張を行っても、標準的な実装設定の性能には及ばないため、完全な一般化は依然として課題であるが、本手法はゼロショット一般化の分野において大きな前進を示している。