[論文レビュー] Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

Sonal Gupta, Rushin Shah+3 more|arXiv (Cornell University)|Oct 18, 2018

Topic Modeling参考文献 15被引用数 19

ひとこと要約

本稿では、木構造的表現を用いてネストされた意図とスロットを介して合成的クエリ理解を可能にする、階層的意味解析フレームワークを提案する。44,000発話のデータセット上で評価した結果、再帰的ニューラルネットワーク文法（RNNG）が逐次変換モデルを上回り、正しい解析木を予測する際のトップ5正解率が92.48%に達した。これは、意味解析における構造的帰納的バイアスの有効性を示している。

ABSTRACT

Task oriented dialog systems typically first parse user utterances to semantic frames comprised of intents and slots. Previous work on task oriented intent and slot-filling work has been restricted to one intent per query and one slot label per token, and thus cannot model complex compositional requests. Alternative semantic parsing systems have represented queries as logical forms, but these are challenging to annotate and parse. We propose a hierarchical annotation scheme for semantic parsing that allows the representation of compositional queries, and can be efficiently and accurately parsed by standard constituency parsing models. We release a dataset of 44k annotated queries (fb.me/semanticparsingdialog), and show that parsing models outperform sequence-to-sequence approaches on this dataset.

研究の動機と目的

• 従来の意図-スロットタギング手法が、タスク指向対話システムにおける複雑でネストされたユーザー要求を表現する点で有する制限を解消すること。
• 表現力と効率的なアノテーション・解析の両立を図る意味的表現を設計し、完全な論理形式の複雑さを回避すること。
• 構文解析モデルが、階層的構造を用いてタスク指向対話の意味解析に効果的に適応可能であることを示すこと。
• 今後の研究を支援するため、44,000件のアノテート済み対話要求を含む大規模かつ高カバレッジ・高合意度のデータセットを公開すること。

提案手法

• 根が意図である階層的表現を提案。非終端記号は意図またはスロットであり、スロットはネストされた意図を含むことができ、構文的解析木に類似した構造を形成する。
• 構造的制約を強制：根は必ず意図でなければならない。意図はトークンまたはスロットを子に持てる。スロットはトークンまたは1つの意図を子に持てる。
• 解析モデルとして再帰的ニューラルネットワーク文法（RNNG）を採用。整合的な木構造の生成と線形時間の推論に寄与する帰納的バイアスを活用する。
• 出力端末を1語彙に制限（LOTV）することで、構造的予測への注目を促進し、トークン再現に注力するのを防ぐ。
• 標準的な最適化（Adam、NAG）を用いてモデルを学習し、正確一致とトップ-k正解率という指標で評価する。
• RNNGの各モジュール（アクションLSTM、スタックLSTM、バッファLSTM）の寄与度を評価するためのアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 階層的で木構造的な意味的表現は、タスク指向対話における合成的かつネストされたユーザー要求を効果的にモデル化できるか？
• RQ2 提案された表現は、実世界のユーザー発話の高カバレッジを達成するとともに、高水準のアノテーター間合意を達成できるか？
• RQ3 RNNGのような標準的な構文解析モデルは、この表現を用いて意味解析に効果的に適応可能か？seq2seqベースラインを上回る性能を示せるか？
• RQ4 低データ量・高構造性の設定において、構造的モデルの帰納的バイアスとseq2seqモデルの柔軟性の間には、どのような差があるか？

主な発見

• 階層的表現は、従来の1意図・1スロットシステムではモデル化できないユーザー要求の70%をカバーしており、そのうち30%のクエリが合成的ネストを必要としている。
• データセットにおけるアノテーター間合意は高く、アノテーション方式が大規模な収集に実用的で信頼できることが示された。
• RNNGは正しい解析木を予測する際のトップ5正解率が92.48%に達し、seq2seqベースライン（トップ1正解率78.51%）を顕著に上回った。
• RNNGモデルはビームサーチでも高い性能を維持しており、トップ5正解率は92.48%（グリーディデコード時78.51%）に達した。
• RNNGのバッファLSTMを削除すると、正確一致率が13.78%に急激に低下し、構造的学習においてそのモジュールが極めて重要な役割を果たしていることが示された。
• 1語彙（LOTV）の使用は、CNNおよびLSTMベースのseq2seqモデルでは性能向上に寄与したが、Transformerでは逆に性能を低下させた。これは、モデル固有の最適化が必要であることを示唆している。