[論文レビュー] FORTAP: Using Formulae for Numerical-Reasoning-Aware Table Pretraining.

Zhoujun Cheng, Haoyu Dong+5 more|arXiv (Cornell University)|Sep 15, 2021

Spreadsheets and End-User Computing参考文献 29被引用数 6

ひとこと要約

FORTAP は、表における数値推論を向上させるためにスプレッドシートの数式を弱い教師信号として活用する、新しい表の事前学習手法である。2つの数式に特化した事前学習タスク（数式再構築と数式予測）を導入することで、FORTAP はセルタイプ分類および数式予測のタスクで最先端の性能を達成し、構造化データにおける数値推論に向けた数式の教師信号の有効性を示している。

ABSTRACT

Tables store rich numerical data, but numerical reasoning over tables is still a challenge. In this paper, we find that the spreadsheet formula, which performs calculations on numerical values in tables, is naturally a strong supervision of numerical reasoning. More importantly, large amounts of spreadsheets with expert-made formulae are available on the web and can be obtained easily. FORTAP is the first method for numerical-reasoning-aware table pretraining by leveraging large corpus of spreadsheet formulae. We design two formula pretraining tasks to explicitly guide FORTAP to learn numerical reference and calculation in semi-structured tables. FORTAP achieves state-of-the-art results on two representative downstream tasks, cell type classification and formula prediction, showing great potential of numerical-reasoning-aware pretraining.

研究の動機と目的

• 表における数値推論の課題に取り組むこと。これは、表に豊富な数値データが存在するにもかかわらず、依然として困難な課題である。
• スプレッドシートの数式がもたらす自然な教師信号（数値計算および推論パターンをエンコード）を活用すること。
• 半構造化された表における数値的参照および計算を明示的に学習する事前学習フレームワークを開発すること。
• 数式に特化した表現学習を通じて、セルタイプ分類や数式予測などの下流タスクの性能を向上させること。
• 大規模な数式コーパスを用いた、表の事前学習における数値推論認識の実現可能性と有効性を示すこと。

提案手法

• FORTAP は、モデルが数値推論を学ぶのを導くために、数式再構築と数式予測の2つの数式事前学習タスクを導入する。
• 専門家が書いた数式を含む実世界のスプレッドシートの大規模コーパスを活用し、これにより数値演算の強力な教師信号が得られる。
• この方法では、これらの数式タスク上で事前学習済みの表エンコーダーを微調整し、表現を数値推論のパターンに一致させる。
• 数式再構築は、表のセルから数式をマスキングして予測するタスクであり、数式予測は、表とターゲットセルが与えられたもとで正しい数式を予測するタスクである。
• このアプローチでは、表構造内での数値的参照（例：特定のセルへの参照）および計算（例：SUM、AVERAGE）を明示的にモデル化する。
• FORTAP は事前学習の目的関数に数式の教師信号を統合し、人為的に注釈された推論ステップが不要な状態で、推論パターンの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スプレッドシートの数式は、表の事前学習における数値推論の有効な教師信号として機能するか？
• RQ2 数式に特化した事前学習は、セルタイプ分類や数式予測などの下流タスクの性能を向上させるか？
• RQ3 FORTAP は、標準的な事前学習手法と比較して、数値推論能力を学習する上で優れているか？
• RQ4 数式事前学習タスクは、モデルが表内の数値計算を理解し、生成する能力をどの程度向上させるか？

主な発見

• FORTAP はセルタイプ分類タスクで最先端の性能を達成し、数式に特化した事前学習によって優れた結果をもたらしている。
• 数式予測タスクでも最先端の結果を達成しており、改善された推論および生成能力を示している。
• 数式を教師信号として使用することで、モデルが表における数値的参照や計算を学ぶ能力が顕著に向上している。
• 2つの数式事前学習タスク（再構築と予測）が、数値推論のための表現学習を総合的に改善している。
• FORTAP は、人為的に注釈された推論ステップが不要な状態で、大規模かつウェブ上で入手可能なスプレッドシートの数式コーパスを効果的に活用できることを示している。