[論文レビュー] Table2answer: Read the database and answer without SQL

Tong Guo, Huilin Gao|arXiv (Cornell University)|Feb 12, 2019

Topic Modeling参考文献 13被引用数 4

ひとこと要約

この論文では、中間のSQLや論理形式の生成を必要とせず、データベーステーブル上の質問に直接答えを返すBERTベースのモデル、Table2answerを提案する。質問応答をテーブルセル上のスパン予測タスクとして扱うことで、簡略化されたWikiSQLサブセットで54.0%のテスト精度を達成し、コストがかかる意味解析のアノテーションを回避しつつ、ベースライン性能と同等の性能を示した。

ABSTRACT

Semantic parsing is the task of mapping natural language to logic form. In question answering, semantic parsing can be used to map the question to logic form and execute the logic form to get the answer. One key problem for semantic parsing is the hard label work. We study this problem in another way: we do not use the logic form any more. Instead we only use the schema and answer info. We think that the logic form step can be injected into the deep model. The reason why we think removing the logic form step is possible is that human can do the task without explicit logic form. We use BERT-based model and do the experiment in the WikiSQL dataset, which is a large natural language to SQL dataset. Our experimental evaluations that show that our model can achieves the baseline results in WikiSQL dataset.

研究の動機と目的

• 意味解析の高コストなアノテーションを低減するため、明示的な論理形式やSQLラベルの必要性を排除すること。
• 深層学習モデルが明示的な論理形式表現なしに、データベース上で推論を暗黙的に学習できるかを検討すること。
• 質問とテーブルスキーマを直接答えのセルにマッピングするエンドツーエンドの質問応答システムを開発すること。
• BERTベースのモデルがSQL生成を伴わずに、テーブルベースのQAで競争力のある性能を達成できるかを評価すること。
• 単一条件のクエリと固定テーブルに焦点を当てることでNL2SQLタスクを単純化し、より速い学習と評価を可能にすること。

提案手法

• モデルの入力は、[CLS]、カラム見出し、テーブルセル、[SEP]、質問、[SEP]の連結シーケンスであり、BERTの入力フォーマットに従う。
• 各テーブルセルの単語埋め込みを平均化して、そのセルの単一のベクトル表現を形成する。
• BERTの最終層の直後に、答えのセルの開始位置と終了位置を予測する1つのポインタヘッドを追加する。
• WHERE句に1つの条件のみを許容する簡略化されたWikiSQLデータセットでモデルをファインチューニングする。
• データ拡張として、学習の多様性を高めるためにランダムにテーブル行をシャッフルするが、カラムは固定する。
• 位置埋め込みを用いてシーケンスの順序を保持し、効率性を高めるためにモデルは最後の3層のBERTのみをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、テーブルベースの質問応答において、明示的な論理形式やSQL生成を回避できるか？
• RQ2 質問、スキーマ、テーブルデータに対するエンドツーエンド学習は、従来の意味解析と比較して競争力のある性能を示せるか？
• RQ3 行のシャッフルによるデータ拡張は、テーブルベースのQAにおけるモデルの一般化性能にどのように影響するか？
• RQ4 位置埋め込みやデータ拡張を削除した場合、モデルの性能にどのような影響があるか？
• RQ5 BERTベースのモデルは、中間の論理形式を生成せずに、直接答えのセルを予測できるか？

主な発見

• 提案されたモデルは、Table2answerベンチマークで54.0%のテスト精度を達成し、非プレトレーニングのトランスフォーマベースライン（11.0%）を著しく上回った。
• 行のシャッフルによるデータ拡張により、テスト精度が（拡張なしでは17.7%）から54.0%に向上し、その有効性が示された。
• 位置埋め込みを削除すると性能は20.5%に低下し、シーケンスの順序が正確なセル予測にとって不可欠であることが示された。
• データ拡張なしのモデルでもベースラインを上回り、17.7%の精度を達成した。これは、プレトレーニングが強いインダクティブバイアスを提供していることを示唆している。
• すべてのテーブルセルを連結するSQuADスタイルのスパン予測アプローチでは、2–3%低い性能にとどまった。これは、構造化された入力フォーマットがより効果的であることを示している。
• モデルは96%の訓練精度を達成しており、簡略化されたタスクを学習する強力な能力を示しているが、テストセットへの一般化は依然として限定的である。