[論文レビュー] Table-To-Text generation and pre-training with TabT5

Ewa Andrejczuk, Julian Martin Eisenschlos+3 more|arXiv (Cornell University)|Oct 17, 2022

Statistics Education and Methodologies被引用数 4

ひとこと要約

TabT5 は、行と列の位置埋め込みを組み込み、Web テーブル上で去ノイズ化自己符号化目的を用いた事前学習を実施する T5 ベースのエンコーダデコーダモデルであり、テーブルからテキストへの生成を向上させた。複数のタスクにおいて最先端の結果を達成しており、スプレッドシートの数式予測においてはシーケンス精度が15%向上し、質問応答およびデータからテキストへの生成においては BLEU とシーケンス精度がそれぞれ 2.5% 向上した。

ABSTRACT

Encoder-only transformer models have been successfully applied to different table understanding tasks, as in TAPAS (Herzig et al., 2020). A major limitation of these architectures is that they are constrained to classification-like tasks such as cell selection or entailment detection. We present TABT5, an encoder-decoder model that generates natural language text based on tables and textual inputs. TABT5 overcomes the encoder-only limitation by incorporating a decoder component and leverages the input structure with table specific embeddings and pre-training. TABT5 achieves new state-of-the-art results on several domains, including spreadsheet formula prediction with a 15% increase in sequence accuracy, QA with a 2.5% increase in sequence accuracy and data-to-text generation with a 2.5% increase in BLEU.

研究の動機と目的

• エンコーダオンリーのモデルが、特に自然言語生成を必要とする複雑なタスクにおいて、完全なテキスト出力を生成する能力に制限を受けることに対処する。
• テーブルの構造とテキスト的文脈の両方を活用する統合フレームワークを構築し、より良いシーケンス間の生成を実現する。
• 大規模な Web テーブルを用いて、テーブルの構造と内容の理解を向上させるために、去ノイズ化目的を用いた事前学習を実施する。
• ゼロショットおよびフェイントショットの設定下で、数式予測、質問応答、データからテキストへの生成など多様なタスクにおいてモデルを評価する。
• 行・列の埋め込みや去ノイズ化事前学習の目的といった主要な構成要素をアブレーションし、それらが性能に与える貢献を検証する。

提案手法

• TabT5 はテーブル入力を行単位で線形化し、各セルをその行と列の位置を示す専用の位置埋め込みで符号化する。
• モデルは T5 をベースとしたシーケンス間の生成アーキテクチャを採用し、エンドツーエンド学習を可能にする共通のエンコーダデコーダのトランスフォーマー構造を用いる。
• 15% のテーブルセルをマスクし、デコーダが元の内容を再構築するように学習する去ノイズ化事前学習の目的を採用する。
• 入力表現には、質問、テーブルの見出し、セルなどのコンponentタイプを含め、入力シーケンス内の意味的役割を区別する。
• 標準的なシーケンス生成損失を用いて、数式予測、質問応答、データからテキストへの生成といった下流タスクでモデルをファインチューニングする。
• アブレーションスタディでは、行・列の埋め込みや去ノイズ化事前学習の目的を削除することで、それらの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 構造化された位置埋め込みを備えたエンコーダデコーダのトランスフォーマー・アーキテクチャは、エンコーダオンリーのモデルを上回る性能を示せるか？
• RQ2 Web テーブル上で去ノイズ化事前学習を実施することで、多様なテーブルからテキストへのタスクへの一般化性能がどの程度向上するか？
• RQ3 行と列の位置埋め込みは、モデルがテーブルデータからテキストを理解し生成する能力にどのように寄与するか？
• RQ4 限定的な監視情報でファインチューニングされた場合でも、モデルは低リソースまたはドメイン外のテーブル形式に十分に一般化できるか？
• RQ5 生成出力における誤りの主なタイプは何か？ それらは事前学習の目的やモデルアーキテクチャとどのように関連しているか？

主な発見

• Enron スプレッドシートの数式予測ベンチマークにおいて、TabT5 は先行の最先端手法比でシーケンス精度に15%の相対的向上を達成した。
• ToTTo 質問応答データセットでは、TabT5-base が 71.61% のシーケンス精度を達成し、T5-base ベースラインより 2.21 パcent point 高かった。
• FinQA 理解ベンチマークでは、TabT5-large が 70.79% のプログラム精度と 68.00% の実行精度を達成し、先行手法を著しく上回った。
• アブレーションスタディの結果、行・列の埋め込みや去ノイズ化事前学習の目的を削除すると性能が低下し、それらが性能に不可欠な役割を果たしていることが確認された。
• 誤り分析の結果、TabT5 の出力の 55% が T5 の出力の言い換えであり、72.5% が妥当（内容は正しいがわずかな省略あり）であることが判明し、流暢さと一貫性の高さが示された。
• 幻覚の大部分（50%）は軽微で、正解と意味的に類似しており、事前学習の影響でモデルが妥当だが誤りな名前付きエンティティを生成する傾向があることが示唆された。