[論文レビュー] Table Pre-training: A Survey on Model Architectures, Pre-training Objectives, and Downstream Tasks

Haoyu Dong, Zhoujun Cheng+7 more|arXiv (Cornell University)|Jan 24, 2022

Data Quality and Management被引用数 14

ひとこと要約

本調査は、モデルアーキテクチャ、事前学習目的、および下流タスクをカバーする、表の事前学習フレームワークの包括的レビューを提供する。特に、特化したアテンション機構と自己教師付き目的（例：マスクされた言語モデリング、ノイズ除去、ニューラルSQL実行）が、表の質問応答、型分類、式予測などのタスクで最先端の性能を達成できることを強調している。

ABSTRACT

Since a vast number of tables can be easily collected from web pages, spreadsheets, PDFs, and various other document types, a flurry of table pre-training frameworks have been proposed following the success of text and images, and they have achieved new state-of-the-arts on various tasks such as table question answering, table type recognition, column relation classification, table search, formula prediction, etc. To fully use the supervision signals in unlabeled tables, a variety of pre-training objectives have been designed and evaluated, for example, denoising cell values, predicting numerical relationships, and implicitly executing SQLs. And to best leverage the characteristics of (semi-)structured tables, various tabular language models, particularly with specially-designed attention mechanisms, have been explored. Since tables usually appear and interact with free-form text, table pre-training usually takes the form of table-text joint pre-training, which attracts significant research interests from multiple domains. This survey aims to provide a comprehensive review of different model designs, pre-training objectives, and downstream tasks for table pre-training, and we further share our thoughts and vision on existing challenges and future opportunities.

研究の動機と目的

• 構造化された表の理解を目的としたモデルアーキテクチャ（ハイブリッド行列アテンション、木構造など）を体系的にレビューすること。
• マスクされた列予測、セル値のノイズ除去、ニューラルSQL実行などの多様な事前学習目的が、表の推論を向上させる仕組みを分析すること。
• 表の事前学習における既存の下流タスク（表の質問応答、型分類、式予測など）をマッピングすること。
• ラベルなし表を活用した自己教師付き学習のスケーリングに向けた未解決の課題と今後の研究方向性を特定すること。
• 表の事前学習が、特に意味解析やデータ準備などのクロスドメイン応用分野において、構造化データにおける転移学習をどのように進めるかを統合的概要として提示すること。

提案手法

• 分析の範囲を定義するため、表の種別（整然とした、準整然とした、非整然とした）と構造（リレーショナル、エンティティ、行列、レイアウト）の分類を提案する。
• TaBERT（行方向および列方向のアテンション）、TaPas（エンドツーエンドの統合的推論）、TURL（エンティティリンクのためのマスクアテンション）、TUTA（バイツリー・アテンション）、TaPEx（ニューラルSQL実行者）などの主要なモデルアーキテクチャをレビューする。
• マスクド・ランゲージモデリング（MLM）、マスクド・コラム予測（MCP）、セル値のノイズ除去、および表テキスト推論のためのニューラルSQL実行の学習といった、事前学習目的を分析する。
• T5を21のデータセット（6つのタスク）に直接微調整するUnifiedSKGという最近の手法を紹介し、タスク固有の事前学習を必要としないにもかかわらず強力な結果を達成している。
• T2Dv2、SemTab、WikiTable、TableSenseなどのベンチマークデータセットを用いて、多様な下流タスクにおけるモデル性能を評価する。
• 表の事前学習を機械学習パイプラインに統合する方法について議論する。具体的には、特徴表現学習や表検出・クリーニングなどのデータ準備タスクを含む。

実験結果

リサーチクエスチョン

• RQ1 表の事前学習モデルにおける特化したアテンション機構（例：行列アテンション、木構造ベース）は、構造的推論タスクのパフォーマンスをどのように向上させるか？
• RQ2 表内の意味的および構造的関係を捉えるために、どの事前学習目的が最も効果的であり、標準的なNLP目的と比べてどのように異なるか？
• RQ3 表の事前学習モデルは、表QA、型分類、式予測といった多様な下流タスクにどの程度一般化できるか？
• RQ4 最近の手法（例：ニューラルSQL実行、T5の直接微調整）は、表理解分野における伝統的な事前学習パラダイムにどのように挑戦しているか？
• RQ5 現実的で多様かつノイズが多い表形式データへのスケーリングにおいて、表の事前学習の主な制限事項と未解決の課題は何か？

主な発見

• TaBERTとTaPasは、ハイブリッド行列アテンションとマスクド・ランゲージモデリングを用いて、表の質問応答ベンチマークで最先端の結果を達成した。
• TURLは、リレーショナル表におけるエンティティ表現学習にマスクアテンションが有効であることを示し、表マッチングや拡張タスクのパフォーマンス向上に寄与した。
• TUTAは、木構造ベースの位置エンコーディングを備えた統合バイツリー・アテンション機構を導入し、5つの構造的表理解データセットで新たなSOTA結果を達成した。
• TaPExは、ニューラルSQL実行者を学習するための事前学習が、表テキスト統合的推論を著しく向上させることを示し、複雑な推論シナリオでは従来の目的を上回った。
• UnifiedSKGは、21のデータセット（6つのタスク）にT5を直接微調整することで、有望な結果、さらにはSOTA結果を達成した。これは、タスク固有の設計を必要としない大規模なシーケンスモデルが、表の事前学習に有効である可能性を示唆している。
• 本調査では、ラベルなし表を用いた事前学習が強力なパフォーマンスをもたらす一方で、多様な表形式、ノイズデータ、および単純な分類やQAをはるかに超える複雑な推論処理の処理に課題が残っていると同定した。