[論文レビュー] Improving Semantic Parsing for Task Oriented Dialog

Arash Einolghozati, Panupong Pasupat+5 more|arXiv (Cornell University)|Feb 15, 2019

Topic Modeling参考文献 25被引用数 25

ひとこと要約

この論文は、タスク指向対話における意味解析を向上させるために、アンサンブル、文脈依存埋め込み（ELMo）、および言語モデルベースの再ランク付けを導入し、階層的意図-スロット解析における異なる誤りタイプを是正する。最良のモデルは、これらの3つの技術を組み合わせ、TOPデータセットで33%の誤り削減を達成し、87.25%の正確一致精度を記録し、新たな最先端性能を樹立した。

ABSTRACT

Semantic parsing using hierarchical representations has recently been proposed for task oriented dialog with promising results [Gupta et al 2018]. In this paper, we present three different improvements to the model: contextualized embeddings, ensembling, and pairwise re-ranking based on a language model. We taxonomize the errors possible for the hierarchical representation, such as wrong top intent, missing spans or split spans, and show that the three approaches correct different kinds of errors. The best model combines the three techniques and gives 6.4% better exact match accuracy than the state-of-the-art, with an error reduction of 33%, resulting in a new state-of-the-art result on the Task Oriented Parsing (TOP) dataset.

研究の動機と目的

• タスク指向対話システムにおける複雑で構成的自然言語クエリの解析という課題に対処すること。
• 階層的意図-スロット表現における特定の誤りタイプを是正することで、最先端性能を超える意味解析の正確性を向上させること。
• アンサンブル、文脈依存埋め込み、および言語モデル再ランク付けの直交的寄与が、解析誤りの低減にどの程度寄与するかを調査すること。
• ターゲットのモデル改善を支援するため、階層的意味解析のための体系的誤り分類法を構築すること。
• TOPデータセット向けに、複数の技術を統合した単一の高精度な解析モデルを開発すること。

提案手法

• モデルの多様性を活用するため、多数決投票、グリーディ行動選択、パーサー切り替えの3つの戦略を用いた複数パーサーのアンサンブル。
• 深層文脈依存語の埋め込みモデルであるELMoを導入し、パーサーの単語表現学習を向上させること。
• 事前学習済み言語モデルを用いて、パーサーが生成した上位k個の解析仮説を再ランク付けし、ランク付けSVMを用いて最良の解析を特定すること。
• スタックとバッファのLSTMを用いて解析状態を符号化する再帰的ニューラルネットワーク文法（RNNG）に基づくシフト・リダクションパーサーをベースモデルとして採用すること。
• Adam最適化、ドロップアウト、事前学習済み語の埋め込みを用いてベースモデルを学習し、推論時にはグリーディデコードを実行すること。
• 技術を段階的に組み合わせる：まずELMoを適用し、次にアンサンブルを実施し、最後に言語モデルによる再ランク付けを実行することで、最大のパフォーマンスを達成すること。

実験結果

リサーチクエスチョン

• RQ1 誤りタイプ（例：誤ったトップ意図、欠落スパン、分割スパン）が、階層的意味解析におけるパフォーマンスにどのように影響するか？
• RQ2 アンサンブル、文脈依存埋め込み、および言語モデル再ランク付けが、それぞれどの程度異なるタイプの解析誤りを是正するか？
• RQ3 これらの技術が直交的な誤り是正パターンを示す場合、それらを効果的に統合できるか？
• RQ4 TOPデータセットにおいて、3つの技術をすべて組み合わせた場合に得られる最大のパフォーマンス向上はどの程度か？
• RQ5 ELMoの使用は、解析パイプラインにおける言語モデル再ランク付けの有効性を向上させるか？

主な発見

• アンサンブル、ELMo、および言語モデル再ランク付けの組み合わせにより、ベースモデルと比較してTOPデータセットで誤り率が33%削減された。
• 最良のパフォーマンスを示したモデルは、正確一致精度87.25%を達成し、TOPベンチマークで新たな最先端性能を樹立した。
• ELMoとアンサンブルの後に適用された言語モデル再ランク付けは、特に拡張SVMランク付け戦略により、顕著な向上を示した。
• アンサンブルとELMoはほぼ直交的に性能向上をもたらし、両者の組み合わせにより誤り率が28%削減された。
• 誤り分析により、各技術が異なるタイプの解析誤りを是正していることが確認され、誤り分類法の有効性が裏付けられた。
• LM再ランク付けは、ELMo強化モデルに対しても強力な向上効果を示し、相互に適合し、加法的利点をもたらすことが確認された。