[論文レビュー] Bridge the Gap between Language models and Tabular Understanding

Nuo Chen, Linjun Shou+6 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、テーブル、テキスト、テーブル-テキスト入力を動的にサポートすることで、表形式言語モデリングにおける入力ギャップを埋める統合的事前学習フレームワークUTPを提案する。汎用マスクド言語モデリングとクロスモーダル対照正則化（CMCR）を用いることで、ユニモーダル（例：テーブル検索）およびクロスモーダル（例：テーブル質問応答）の両タスクで最先端の性能を達成し、NQ-TABLESでTAPASよりR@1が9.5ポイント向上した。

ABSTRACT

Table pretrain-then-finetune paradigm has been proposed and employed at a rapid pace after the success of pre-training in the natural language domain. Despite the promising findings in tabular pre-trained language models (TPLMs), there is an input gap between pre-training and fine-tuning phases. For instance, TPLMs jointly pre-trained with table and text input could be effective for tasks also with table-text joint input like table question answering, but it may fail for tasks with only tables or text as input such as table retrieval. To this end, we propose UTP, an approach that dynamically supports three types of multi-modal inputs: table-text, table, and text. Specifically, UTP is pre-trained with two strategies: (1) We first utilize a universal mask language modeling objective on each kind of input, enforcing the model to adapt various inputs. (2) We then present Cross-Modal Contrastive Regularization (CMCR), which utilizes contrastive learning to encourage the consistency between table-text cross-modality representations via unsupervised instance-wise training signals during pre-training. By these means, the resulting model not only bridges the input gap between pre-training and fine-tuning but also advances in the alignment of table and text. Extensive results show UTP achieves superior results on uni-modal input tasks (e.g., table retrieval) and cross-modal input tasks (e.g., table question answering).

研究の動機と目的

• テーブル言語モデルの事前学習後に微調整するパラダイムにおける入力ギャップに対処し、固定された入力フォーマットがタスク間の一般化を制限するのを防ぐ。
• トークンレベルの事前学習目的が、テーブルとテキストの間のグローバルな整合性を捉えられないという制限を克服する。
• ユニフォームな1つのモデルが、ユニモーダル（テーブルのみまたはテキストのみ）およびクロスモーダル（テーブル-テキスト）の入力を効果的に処理できるようにする。
• 対照学習によるクロスモーダル整合性の強化を通じて、テーブル検索およびテーブル質問応答のパフォーマンスを向上させる。

提案手法

• UTPは、純粋なテーブル、純粋なテキスト、テーブル-テキストの3種類の入力タイプに対して汎用マスクド言語モデリング（MLM）を採用し、複数モダリティ間での共同事前学習を可能にする。
• テーブルとテキストの内容が意味的に同等であることを対照学習によって表現の整合性を図る、新規のクロスモーダル対照正則化（CMCR）目的を導入する。
• CMCRは、非教師ありインスタンス単位の信号を用い、一致するテーブル-テキストペアの表現を近づけ、一致しないペアの表現を遠ざける。
• CMCR目的は、テキストのみ（r_t）、テーブルのみ（r_w）、テーブル-テキスト（r_wt）の3種類の表現に対して定義され、それぞれのペアごとに別個の対照損失が設定される。
• 訓練の安定化のため、対照損失に温度スケーリング（τ）を適用し、アブレーションスタディでτ=0.05が最適であると判明した。
• モデルは大規模なテーブル-テキストペアで事前学習され、動的入力フォーマットを用いて下流タスクで微調整される。

実験結果

リサーチクエスチョン

• RQ1 統合的事前学習フレームワークが、パフォーマンスに影響を与えることなく、テーブル、テキスト、テーブル-テキストの複数モダリティの入力を効果的にサポートできるか？
• RQ2 グローバルかつインスタンス単位の対照的目的を導入することで、トークンレベルの目的と比較して、テーブルとテキストの表現間の整合性が向上するか？
• RQ3 CMCRが、推論時にテーブル入力のみが利用可能なユニモーダルタスク（例：テーブル検索）のパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 汎用MLMとCMCRの組み合わせは、既存の事前学習戦略と比較して、一般化性能およびゼロショット転送性において優れているか？

主な発見

• UTPは、NQ-TABLESのテーブル検索ベンチマークにおけるR@1スコアを、TAPASの28.95から38.45に向上させ、相対的に9.5ポイント向上した。
• ハードネガティブマイニングを適用した場合、UTPはR@1が50.54に達し、次に優れたベースライン（44.42）を顕著に上回り、困難なネガティブ例に対しても頑健であることが示された。
• WIKISQLのテーブル質問応答ベンチマークでは、完全な教師あり条件下でUTPは88.1％の表記精度を達成し、TAPAS（86.4％）を上回り、優れた一般化性能を示した。
• アブレーションスタディでは、汎用MLMとCMCRの両方が不可欠であることが確認された：CMCRを除去するとR@50が88.90に低下し、MLMを除去すると88.51に低下した。
• 純粋なテキストと純粋なテーブル表現を対照的に整合させるCMCRコンponent（L(r_t, r_w)）が、パフォーマンス向上に最も寄与しており、クロスモーダル整合性の重要性を示している。
• ハイパーパramータ分析では、WIKISQLで対照損失のτ=0.05が最適なパフォーマンスをもたらし、温度スケーリングに敏感であることが判明した。