[論文レビュー] CoSQL: A Conversational Text-to-SQL Challenge Towards Cross-Domain Natural Language Interfaces to Databases

Tao Yu, Rui Zhang+22 more|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 59被引用数 44

ひとこと要約

CoSQL は Wizard-of-Oz 設定で収集された大規模な跨ドメイン対話型テキスト-to-SQLコーパスを導入し、3つのタスク（SQLに基づくDST、SQL/結果からのNL応答生成、ユーザー対話行為予測）を持ち、ベースライン評価が改善の余地が大きいことを示している。

ABSTRACT

We present CoSQL, a corpus for building cross-domain, general-purpose database (DB) querying dialogue systems. It consists of 30k+ turns plus 10k+ annotated SQL queries, obtained from a Wizard-of-Oz (WOZ) collection of 3k dialogues querying 200 complex DBs spanning 138 domains. Each dialogue simulates a real-world DB query scenario with a crowd worker as a user exploring the DB and a SQL expert retrieving answers with SQL, clarifying ambiguous questions, or otherwise informing of unanswerable questions. When user questions are answerable by SQL, the expert describes the SQL and execution results to the user, hence maintaining a natural interaction flow. CoSQL introduces new challenges compared to existing task-oriented dialogue datasets:(1) the dialogue states are grounded in SQL, a domain-independent executable representation, instead of domain-specific slot-value pairs, and (2) because testing is done on unseen databases, success requires generalizing to new domains. CoSQL includes three tasks: SQL-grounded dialogue state tracking, response generation from query results, and user dialogue act prediction. We evaluate a set of strong baselines for each task and show that CoSQL presents significant challenges for future research. The dataset, baselines, and leaderboard will be released at https://yale-lily.github.io/cosql.

研究の動機と目的

• 実行可能な SQL 表現に基づく汎用的な跨ドメインデータベース問い合わせ対話コーパスを開発する。
• SQL に基づく対話状態の評価、SQL 結果からの NL 応答生成、ユーザー/対話行為予測を評価できるようにする。
• 自然で明確かつ検証可能な SQL ベースの DB 問い合わせを対話設定で実現する際の課題を明らかにするため、ベースラインモデルを評価する。
• unseen なデータベースへの跨ドメイン一般化と、SQL と結果を説明するシステム応答の必要性を強調する。

提案手法

• 3,007 の対話と 200 データベース、138 ドメインにまたがる 30k 以上のターンを含む大規模な跨ドメイン WOZ 対話データセットを収集する。
• 各ターンを実行可能な SQL クエリ（10k ラベル付きクエリ）と対話行為で注釈付けする。
• 三つのタスクベンチマークを定義する：SQL に基づく対話状態追跡、実行済み SQL と結果からの応答生成、ユーザー対話行為予測。
• DST のために CD-Seq2Seq や SyntaxSQL-con などの強力なベースラインをベンチマークし、テンプレートベース、Seq2Seq、ポインタ・ジェネレータなどのアプローチで応答生成を評価する。
• データの多様性、跨ドメイン一般化、対話に用いられる SQL の複雑さについて分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 跨ドメインスキーマを考慮したとき、システムはユーザー質問が SQL で回答可能かを判断できるか？
• RQ2 未知のデータベースで、モデルはユーザー発話を実行可能な SQL クエリにどれだけ正確に結びつけられるか？
• RQ3 検証のために SQL クエリと結果を忠実に説明する自然言語応答を生成できるか？
• RQ4 この設定でユーザー対話行為（例えば曖昧、infer_sql、cannot_understand）をどれだけ正確に予測できるか？

主な発見

• ベースライン DST モデルは CoSQL で質問レベルの正確度が 16% 未満、対話レベルの正確度が 3% 未満という結果で、SParC より難易度が高いことを示している。
• 応答生成のベースラインは BLEU スコアが限られ、論理正確性が低い。ポインタ・ジェネレータは素の Seq2Seq よりしばしば優れるが、NL 出力で SQL の論理を保持するのは困難。
• ユーザー質問の約 40% が AMBIGUOUS で、システムによる明確化が必要；約 10% が INFER_SQL を伴い、NLIDB システムにおける効果的な明確化と推論の必要性を示す。
• 人間の評価ではテンプレートベースの NL 説明は文法的には一貫性が高いが、カバー範囲が限定され論理的正確さが低い傾向。ニューラル法はBLEUが高いが、論理的忠実性には依然課題。
• CoSQL は訓練セットで 200 データベースと 1020 テーブルをカバーし、長尾言語と多様なディスコースを含み、跨ドメイン一般化の課題を強調している。