[論文レビュー] End-to-End Slot Alignment and Recognition for Cross-Lingual NLU

Weijia Xu, Batool A Haider+1 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 24被引用数 8

ひとこと要約

本稿では、外部の単語アライメントツールや特徴工学的手法に依存せずに、スロットラベルのアライメントと認識を同時に学習するエンドツーエンドモデルを提案する。再構成目的関数で訓練されるソフトアテンションベースのアライメントモジュールを用いることで、最新のプロジェクション手法と同等の性能を達成するとともに、学習時間を半減させ、ほとんどの言語でシンプルな fast-align プロジェクションを上回り、特に語形変化が複雑なトルコ語では F1 スコアで 16.9% の向上を達成した。

ABSTRACT

Natural language understanding (NLU) in the context of goal-oriented dialog systems typically includes intent classification and slot labeling tasks. Existing methods to expand an NLU system to new languages use machine translation with slot label projection from source to the translated utterances, and thus are sensitive to projection errors. In this work, we propose a novel end-to-end model that learns to align and predict target slot labels jointly for cross-lingual transfer. We introduce MultiATIS++, a new multilingual NLU corpus that extends the Multilingual ATIS corpus to nine languages across four language families, and evaluate our method using the corpus. Results show that our method outperforms a simple label projection method using fast-align on most languages, and achieves competitive performance to the more complex, state-of-the-art projection method with only half of the training time. We release our MultiATIS++ corpus to the community to continue future research on cross-lingual NLU.

研究の動機と目的

• 機械翻訳からのスロットラベルプロジェクションに依存する既存の多言語 NLU 移行手法の限界を解消すること。
• 外部のアライメントツールや言語学的特徴を用いずに、エンドツーエンドでスロットアライメントと認識を同時に学習するモデルを開発すること。
• 4つの言語系列にまたがる9つの言語を対象に評価することで、言語間の距離にかかわらず一般化性能を評価すること。
• 多言語 NLU コーパス MultiATIS++ をリリースし、多言語 ATIS を9言語に拡張して、より広範な研究利用を可能にすること。
• 再構成目的関数を用いた統合学習が、リソースが乏しい言語や語形変化が複雑な言語において、アライメント品質とスロット認識性能を向上させることを実証すること。

提案手法

• 多言語 BERT を、多言語表現学習の共有エンコーダーとして使用する。
• ソース言語入力から直接ターゲット言語スロットラベルを予測する、アテンションメカニズムに基づくソフトラベルアライメントモジュールを導入する。
• アライメントモジュールは、意図分類と、予測されたターゲットラベルから元のソースラベルを再構成することを促す再構成損失と同時に訓練される。
• 外部の単語アライメントツールに依存せず、学習中にエンドツーエンドでアライメントを学習することで、誤りの多いプロジェクションに依存するリスクを低減する。
• 教師あり損失（ソース言語データ）と再構成損失（アラインド予測）を組み合わせたマルチタスク目的関数でモデルを訓練する。
• アブレーションスタディでは、再構成損失とソースデータに対する統合学習が、高いスロット F1 スコアを達成するために不可欠であることが示された。

実験結果

リサーチクエスチョン

• RQ1 外部の単語アライメントツールや言語学的特徴に依存せずに、エンドツーエンドでスロットアライメントと認識を同時に学習できるか？
• RQ2 fast-align や MT+TMP のような標準的ベースラインや先進的手法と比較して、性能と学習効率の面でどう異なるか？
• RQ3 語形変化が複雑な言語（例：トルコ語）や多様な言語系列にまたがる言語に対しても、モデルは一般化性能を発揮するか？
• RQ4 再構成損失と統合学習目的関数が、アライメント品質とスロット認識に与える影響は何か？
• RQ5 ターゲット言語のラベル付き例がわずかにしか存在しない少データ設定において、モデルの効率性はどの程度か？

主な発見

• 提案手法は、1つの言語を除き、すべての言語で fast-align プロジェクションベースラインを上回り、全言語で高いスロット F1 スコアを達成した。
• 語形変化が複雑なトルコ語において、MT+TMP ベースラインよりも 16.9% 高いスロット F1 スコアを達成し、言語的乖離に強く対応できることを示した。
• 学習時間を半分に抑える一方で、最新の MT+TMP 手法と同等の性能を達成した。
• アブレーションスタディでは、再構成損失を削除するとスロット F1 が 3.6% 減少し、ソースデータに対する統合学習を削除すると 8.4% 減少したため、これらのコンponentsに強く依存していることが示された。
• 少データ設定では、類縁言語（フランス語）および非類縁言語（中国語）の両方で、最良のプロジェクションベースライン手法と同等またはそれを上回る性能を発揮し、優れたデータ効率性を示した。
• 結果から、ラベルプロジェクションの誤りが非類縁言語での性能を著しく制限することが明らかになったのと同時に、エンドツーエンド学習がこの問題を緩和できることを示した。