[論文レビュー] MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark

Haoran Li, Abhinav Arora+4 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 34被引用数 16

ひとこと要約

本稿では、6言語、11ドメインにまたがる10万件の発話文を含む多言語的タスク指向意味解析ベンチマーク、MTOPを紹介する。このベンチマークは平坦型および構成的（階層的）スロット表現の両方をサポートする。XLM-R や mBART といった多言語事前学習モデルを用いて、既存のデータセットで +6.3 F1 ポints の向上を達成し、ターゲット言語のデータなしでゼロショットクロスリンガル転送において 67.2% の正確一致精度を達成する。これは最先端の性能を示している。

ABSTRACT

Scaling semantic parsing models for task-oriented dialog systems to new languages is often expensive and time-consuming due to the lack of available datasets. Available datasets suffer from several shortcomings: a) they contain few languages b) they contain small amounts of labeled examples per language c) they are based on the simple intent and slot detection paradigm for non-compositional queries. In this paper, we present a new multilingual dataset, called MTOP, comprising of 100k annotated utterances in 6 languages across 11 domains. We use this dataset and other publicly available datasets to conduct a comprehensive benchmarking study on using various state-of-the-art multilingual pre-trained models for task-oriented semantic parsing. We achieve an average improvement of +6.3 points on Slot F1 for the two existing multilingual datasets, over best results reported in their experiments. Furthermore, we demonstrate strong zero-shot performance using pre-trained models combined with automatic translation and alignment, and a proposed distant supervision method to reduce the noise in slot label projection.

研究の動機と目的

• 低リソース言語向けの多様で多言語的かつ構成的タスク指向意味解析データセットの不足を解消すること。
• 複数言語にまたがる複雑でネストされたクエリに対する多言語事前学習モデルの体系的評価を可能にすること。
• 自動翻訳と遠隔監視を用いて、意味解析におけるゼロショットクロスリンガル転送性能を向上させること。
• 最先端の多言語モデルを用いて、6言語における平坦型および構成的意味解析の強固なベースラインを確立すること。
• 多言語事前学習が、特にデータ拡張技術と組み合わせた場合に、単言語微調整よりも顕著に性能を向上させることを示すこと。

提案手法

• 6言語（英語、ドイツ語、スペイン語、フランス語、ターキッシュ語、タイ語）で10万件のアノテート済み発話文を含む、MTOPという新しい多言語データセットをリリース。平坦型および構成的（階層的）スロット表現の両方をサポートする。
• mBERT、XLM-R、mBART、CRISS、MARGE といった多言語事前学習モデルを用い、平坦型および構成的意味解析タスクの微調整を実施する。
• ゼロショット転送のための合成学習データを生成するために、自動機械翻訳とクロスリンガル語彙アライメントを適用する。
• 翻訳データからのスロットラベルの投影におけるノイズを低減するために、クロスリンガル埋め込みとアライメントを活用した遠隔監視手法を導入する。
• マスクされたトークンを翻訳対応語に置き換えることで一般化性能を向上させる、マスクされたデータ拡張戦略を実装する。
• ゼロショット評価を実施する際、英語モデルをソース言語データで微調整し、ターゲット言語のアノテーションを一切使用せずにターゲット言語で評価する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット言語データの微調整なしに、多言語事前学習モデルが複数言語にまたがるタスク指向意味解析で強力なゼロショット性能を達成できるか？
• RQ2 自動翻訳とクロスリンガルアライメントを組み合わせることで、意味解析におけるゼロショット転送の効果が向上するか？
• RQ3 アラインメント済み埋め込みを用いた遠隔監視により、翻訳データからのスロットラベルのノイズが低減され、ゼロショット性能が向上するか？
• RQ4 XLM-R や mBART、CRISS などの異なる多言語モデルは、多様な言語における構成的および平坦型意味解析でどのように性能を発揮するか？
• RQ5 多言語事前学習は、低リソース言語において単言語微調整と比較して、どの程度一般化性能を向上させるか？

主な発見

• 提案された遠隔監視手法は、翻訳データからのスロットラベルの投影におけるノイズを顕著に低減し、ゼロショット性能を向上させた。
• XLM-R にマスクされたデータ拡張と翻訳アライメントを組み合わせたモデルは、5言語にわたるゼロショットクロスリンガル転送で 67.2% の正確一致精度を達成し、言語内モデルの 77.7% に近い性能を示した。
• XLM-R を用いたモデルは、既存の多言語データセット（Multilingual ATIS および Multilingual TOP）において、以前に報告された最良の結果と比較して +6.3 F1 ポイントの向上を達成した。
• mBART は初期にゼロショット性能が低かったが、多言語翻訳タスクで微調整した後、顕著に向上した。これは初期に十分に学習されていなかった可能性を示唆している。
• XLM-R と CRISS は 5言語で最も高い性能を発揮した。特に XLM-R は、タイ語の事前学習を経ているため、タイ語で他のモデルを上回った。
• 翻訳によるトークン化の不一致が、スペースで区切られていない言語（タイ語など）で性能低下を引き起こすことが判明し、ゼロショット転送における主要な課題であることが示された。