[論文レビュー] TURL: Table Understanding through Representation Learning

Xiang Deng, Huan Sun+3 more|arXiv (Cornell University)|Jun 26, 2020

Data Quality and Management参考文献 43被引用数 43

ひとこと要約

TURLは、構造を意識した Transformer と Masked Entity Recovery objective を用いて、関係性Webテーブルの事前学習/ファインチューニングフレームワークを導入し、文脈化された表現を学習し、複数のテーブル理解タスクで高い性能を発揮します。

ABSTRACT

Relational tables on the Web store a vast amount of knowledge. Owing to the wealth of such tables, there has been tremendous progress on a variety of tasks in the area of table understanding. However, existing work generally relies on heavily-engineered task-specific features and model architectures. In this paper, we present TURL, a novel framework that introduces the pre-training/fine-tuning paradigm to relational Web tables. During pre-training, our framework learns deep contextualized representations on relational tables in an unsupervised manner. Its universal model design with pre-trained representations can be applied to a wide range of tasks with minimal task-specific fine-tuning. Specifically, we propose a structure-aware Transformer encoder to model the row-column structure of relational tables, and present a new Masked Entity Recovery (MER) objective for pre-training to capture the semantics and knowledge in large-scale unlabeled data. We systematically evaluate TURL with a benchmark consisting of 6 different tasks for table understanding (e.g., relation extraction, cell filling). We show that TURL generalizes well to all tasks and substantially outperforms existing methods in almost all instances.

研究の動機と目的

• 関係性Webテーブルのための事前学習/ファインチューニングのパラダイムを導入し、タスク特有のエンジニアリングを減らす。
• 行と列の構造をエンコードする構造を意識した Transformer で関係性テーブルをモデル化する。
• 事前学習で Masked Entity Recovery objective によってテーブルの事実知識を捉える。
• 最小限のファインチューニングで多様な下流タスクに適用可能な普遍的なアーキテクチャを提供する。

提案手法

• 表の要素（キャプション、ヘッダ、エンティティ）を分離可能な入力表現に埋め込む。
• 行/列ベースのアテンション制約を課す可視性マトリクスを備えた構造を意識した Transformer を使用する。
• 語彙的知識と事実的知識を学習するために、Masked Language Model (MLM) と Masked Entity Recovery (MER) の目的で事前学習を行う。
• TinyBERT を初期化元として、Wikipedia の 570K の relational tables を用いて訓練する。
• タスク固有のラベル付きデータを用いて、六つの下流タスクで普遍モデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 無監督の事前学習段階で、TURL は relational Web テーブル用の文脈化された表現を学習できるか？
• RQ2 可視性マスキングを用いた構造を意識した Transformer は行-列のテーブル構造を効果的に捉えるか？
• RQ3 Masked Entity Recovery objective はテーブルセルの事実知識の学習を改善するか？
• RQ4 事前学習済みモデルは多様な下流のテーブル理解タスクにどの程度一般化できるか？

主な発見

• TURL は評価されたタスク全体で、従来のタスク特定型および浅い Word2Vec ベースの手法を大幅に上回る。
• このフレームワークは、最小限のタスク固有のファインチューニングで、多様なテーブル理解タスクに対して良く一般化する。
• 可視性マトリクスを備えた構造を意識したエンコーダは、自己注意機構の間に関係テーブルの行-列構造を効果的にモデル化する。
• MER と MLM の目的は、一緒に大規模なラベルなしテーブルから語彙的意味論と事実的エンティティ知識の学習を可能にする。