[論文レビュー] SpreadsheetCoder: Formula Prediction from Semi-structured Context

Xinyun Chen, Petros Maniatis+5 more|arXiv (Cornell University)|Jun 26, 2021

Spreadsheets and End-User Computing被引用数 7

ひとこと要約

SpreadsheetCoder は、ヘッダーとセル値を含む半構造化テーブルコンテキストを用いて、行方向および列方向の関係構造を符号化することで、BERTベースのニューラルモデルとしてスプレッドシートの数式を予測する。42.51% のトップ1フル数式精度を達成し、Google Sheets においてルールベースのシステムよりも82%多くのユーザーを支援する。これは、豊富なテーブルコンテキストの価値を示している。

ABSTRACT

Spreadsheet formula prediction has been an important program synthesis problem with many real-world applications. Previous works typically utilize input-output examples as the specification for spreadsheet formula synthesis, where each input-output pair simulates a separate row in the spreadsheet. However, this formulation does not fully capture the rich context in real-world spreadsheets. First, spreadsheet data entries are organized as tables, thus rows and columns are not necessarily independent from each other. In addition, many spreadsheet tables include headers, which provide high-level descriptions of the cell data. However, previous synthesis approaches do not consider headers as part of the specification. In this work, we present the first approach for synthesizing spreadsheet formulas from tabular context, which includes both headers and semi-structured tabular data. In particular, we propose SpreadsheetCoder, a BERT-based model architecture to represent the tabular context in both row-based and column-based formats. We train our model on a large dataset of spreadsheets, and demonstrate that SpreadsheetCoder achieves top-1 prediction accuracy of 42.51%, which is a considerable improvement over baselines that do not employ rich tabular context. Compared to the rule-based system, SpreadsheetCoder assists 82% more users in composing formulas on Google Sheets.

研究の動機と目的

• スプレッドシートにおける構造的・意味的コンテキストを無視する、入力-出力例のみに依存する従来の数式予測手法の限界を是正すること。
• ヘッダーと半構造化テーブルデータを暗黙の仕様として活用するニューラルモデルの開発。
• 現実世界の、あまり整備されていないスプレッドシートテーブルにおける行間・列間の依存関係をモデル化することで、数式予測精度の向上。
• 制限付きDSLを超えて、幅広い演算子とセル参照をサポートすることで、より柔軟な数式生成の実現。
• 実世界のスプレッドシートでの評価を通じて、実用的価値を示し、ルールベースのシステムに比べて明確なユーザー支援の向上を示すこと。

提案手法

• BERTベースのエンコーダーをスプレッドシートテーブルで微調整し、各行と各列のコンテキストを別々の符号化パスで統合することで、各セルの文脈埋め込みを生成。
• 大規模なテーブルを処理するため、複数の前向きパスを用いて複数の行と列をタイル化することで、BERTの512トークン制限を超える処理を実現。
• 2段階のデコードプロセスを採用：まず、具体的なセル参照を含まない数式スケッチを生成し、その後で適切なセル範囲を予測して数式を完成。
• 自然言語のヘッダーの意味的理解を高めるために、英語のテキストコーパスで事前学習することで、テーブルメタデータの理解を強化。
• 100種類以上のスプレッドシート演算子と柔軟なセル参照をサポートするアーキテクチャを採用し、完全で実行可能な数式の生成を可能に。
• 組織内での公開済み実スプレッドシートの大規模ベンチマークを用いて、モデルを学習および評価。

実験結果

リサーチクエスチョン

• RQ1 テーブルヘッダーと半構造化データを組み込むことで、入力-出力例に依存する従来の手法を超えて、スプレッドシートの数式予測が向上するか？
• RQ2 BERTベースのアーキテクチャは、半構造化スプレッドシートにおける2次元的関係構造をどれほど効果的にモデル化できるか？
• RQ3 行間および列間の依存関係をモデル化することで、数式予測精度はどの程度向上するか？
• RQ4 ニューラルモデルは、実世界の数式作成タスクにおいて、ルールベースのシステムを上回ることができるか？
• RQ5 豊富なテーブルコンテキストは、従来の例によるプログラミング（Programming-by-Example）に比べて、実用的なユーザー支援においてどの程度優れているか？

主な発見

• SpreadsheetCoder はトップ1フル数式精度42.51%を達成し、豊富なテーブルコンテキストを活用しないベースライン手法を著しく上回った。
• モデルはトップ1数式スケッチ精度57.41%を達成し、数式の構造的フォームを予測する能力が優れていることを示した。
• ルールベースのシステムと比較して、SpreadsheetCoder はGoogle Sheetsで数式作成を支援するユーザーを82%多く支援し、実世界での実用的インパクトを示した。
• 入力コンテキストにテーブルヘッダーを含めることで、予測性能が顕著に向上し、ヘッダーが意味的ヒントとして重要であることが明らかになった。
• 2段階デコードプロセス（まずスケッチを生成し、その後セル参照を予測）により、正確かつ柔軟な数式生成が可能になった。
• 不規則な行スキーマや独立でないデータブロックを含む多様なスプレッドシート構造に対しても、モデルは良好な汎化性能を示した。