[論文レビュー] MetaMT,a MetaLearning Method Leveraging Multiple Domain Data for Low Resource Machine Translation

Rumeng Li, Xun Wang+1 more|arXiv (Cornell University)|Dec 11, 2019

Natural Language Processing Techniques参考文献 53被引用数 10

ひとこと要約

この論文では、複数のドメインのデータを活用してドメイン適応を向上させる、低リソースニューラル機械翻訳のためのメタラーニングフレームワーク、MetaMTを提案する。モデルパラメータをメタパラメータとベースパラメータに分割し、ドメイン固有の語彙投影を伴う共有意味空間を用いることで、MetaMTは低リソースドメインにおいて顕著なBLEUスコアの向上を達成し、3,0２０文のEHRデータセットで42.20のBLEUスコアを記録し、標準のTransformerやファインチューニングベースラインを上回った。

ABSTRACT

Manipulating training data leads to robust neural models for MT.

研究の動機と目的

• 特定のドメインにおいて学習データが不足する状況でのニューラル機械翻訳（NMT）の性能が低いという課題に対処すること。
• 低リソース翻訳環境における語彙の違いや多義語の影響によって引き起こされるドメインの乖離を克服すること。
• 少数のドメイン内文を使用するだけで、新しいドメインに迅速に適応できるパラメータ効率の良い手法を開発すること。
• ベース語を用いて語彙を共有意味空間に投影することで、ドメイン間でのデータスパarsityと語彙の不一致を軽減すること。
• モデルパラメータとメタパラメータを交互に更新するメタラーニングトレーニング戦略を設計し、ドメイン間での一般化を向上させること。

提案手法

• モデルパラメータを2つのグループに分割：翻訳用のモデルパラメータと、ドメイン間での一般化を図る表現空間の調整用のメタパラメータ。
• 共有意味空間（ベース語によって定義される）の語ベクトルをドメイン固有の表現にマッピングするトランスミッション層を導入。
• 多様なドメインで事前学習し、少量のデータでターゲットドメインでファインチューニングする、メタラーニングトレーニング戦略を採用。
• ファインチューニング時にモデルパラメータを固定し、メタパラメータのみを更新することで、新しいドメインへの迅速な適応を可能にする。
• ドメイン間でのOOV（未知語）を減らすために、20,000回のサブワード操作を用いたバイトパリーエンコーディング（BPE）を適用。
• 複数のドメイン固有のデータセットで学習することでドメイン適応をシミュレートし、未観測ドメインへの迅速な適応を可能にするメタパラメータを初期化。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、低リソースドメインにおけるNMTモデルのゼロショットまたはフェイシュット適応を改善できるか？
• RQ2 ベース語を用いた共有意味空間は、ドメインの乖離と語彙の不一致を軽減するのにどの程度有効か？
• RQ3 モデルパラメータとメタパラメータを分離することで、低リソース翻訳における一般化と迅速な適応が向上するか？
• RQ4 提案手法は、非常に小さなドメイン内データセットにおいて、標準のファインチューニングやトランスファー学習のベースラインを上回るか？
• RQ5 限定的な並列データを有する高度に専門的なドメイン、例えば電子カルテ（EHR）において、この手法はどの程度の性能を示すか？

主な発見

• MetaMTは3,020文の電子カルテ（EHR）データセットで42.20のBLEUスコアを達成し、標準のTransformer（36.38）とファインチューニング済みTransformer（40.61）を上回った。
• 複数のドメインデータセットにおいて、MetaMTはベースライン手法と比較して1.0～2.0ポイントのBLEUスコア向上を達成したが、UN Data や EU Bookshop では多様で希少な語彙を含むため、その効果が限定的だった。
• EHRデータセットではたった2,171組のトレーニング文対でも優れた性能を示し、非常に少量のドメイン内データに対しても頑健であることが確認された。
• アブレーションスタディの結果、エンコーダーとデコーダーの埋め込み投影を両方削除すると性能が著しく低下し、共有意味空間の重要性が裏付けられた。
• メタラーニング戦略により、ファインチューニング時にモデルパラメータを固定しメタパラメータのみを更新することで、迅速な適応が可能となり、過学習を低減しドメイン一般化性能が向上した。
• この手法は言語に依存せず、言語固有の特徴を必要としないため、任意の言語ペアに適用可能である。