[論文レビュー] TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data

Pengcheng Yin, Graham Neubig+2 more|arXiv (Cornell University)|May 17, 2020

Topic Modeling参考文献 54被引用数 36

ひとこと要約

TaBertはTransformerを事前学習させ、自然言語と（半）構造化テーブルを共同でエンコードすることで、text-to-SQLと弱教師付きのテーブルQAベンチマークのセマンティックパーシングを向上させる。

ABSTRACT

Recent years have witnessed the burgeoning of pretrained language models (LMs) for text-based natural language (NL) understanding tasks. Such models are typically trained on free-form NL text, hence may not be suitable for tasks like semantic parsing over structured data, which require reasoning over both free-form NL questions and structured tabular data (e.g., database tables). In this paper we present TaBERT, a pretrained LM that jointly learns representations for NL sentences and (semi-)structured tables. TaBERT is trained on a large corpus of 26 million tables and their English contexts. In experiments, neural semantic parsers using TaBERT as feature representation layers achieve new best results on the challenging weakly-supervised semantic parsing benchmark WikiTableQuestions, while performing competitively on the text-to-SQL dataset Spider. Implementation of the model will be available at http://fburl.com/TaBERT .

研究の動機と目的

• 自由形式のNLとテーブルスキーマを同時に捉える表現の必要性を動機づける。
• TaBertを提案する。これはBERTベースの事前学習フレームワークで、内容認識スナップショットと垂直アテンションを通じて発話とテーブル構造の両方をエンコードする。
• TaBertを意味解析器に組み込むことで、SQLベースおよび弱教師付きのテーブルQAタスクの性能を向上させられることを示す。

提案手法

• TaBertは表の内容を行ごとのシーケンスに線形化し、Transformerエンコーダを用いて発話とセルの行ごとの表現を生成する。
• Content snapshotsは入力発話に最も関連する行（K）をサンプリングし、大規模な表を効率的に扱う。
• 垂直自己注意層は同じ列の行間でクロスアテンションを行い、列の表現を生成する。
• 列の表現には、列名/型とサンプルされたセル値の両方を含む（Masked Column PredictionおよびCell Value Recoveryの目的を通じて）。
• 事前学習データは、英語版WikipediaとWDC WebTableコーパスから引き出した26.6百万の並列表–NL例で、NLコンテキストにはMLM、スキーマ/内容整合にはMCP/CVR目的を用いる。
• TaBertはセマンティックパーサーのドロップインエンコーダとして、2つのレジームで評価される。監視付きのtext-to-SQL（Spider）と弱教師付きのWikiTableQuestions。

実験結果

リサーチクエスチョン

• RQ1 TaBertで学習されたNLと表形式表現の結合が、テーブル上のセマンティックパーシングを改善できるか？
• RQ2 整列されたNLと表データでの事前学習は、構造化（SQLベース）と半構造化（テーブルQA）の両タスクに移行するか？
• RQ3 コンテンツスナップショットと垂直アテンションが、表駆動のQAのエンコード品質に与える影響は？
• RQ4 これらのタスクにおけるTaBertの variante（baseとlarge、異なるスナップショットサイズ）は、BERTのベースラインとどう比較されるか？

主な発見

• 大規模モデルとコンテンツスナップショットを用いたTaBertは、WikiTableQuestionsで最先端の単一モデル性能を達成する。
• TaBertは強力なベースラインと比較して、Spiderで競争力のあるまたは改善された厳密一致精度を提供し、上位システムとの差を縮める。
• コンテンツスナップショットと垂直アテンションは、非スナップショットや単一行のエンコードに比べ、特にTaBertで性能を大幅に向上させる。
• 大規模な並列NL–表データでの事前学習は、Bert単体を用いるよりも良い結合表現を生み出す。
• TaBertの表現は、構造化および半構造化のテーブルQAパラダイムの両方で有効である。