[논문 리뷰] SpreadsheetCoder: Formula Prediction from Semi-structured Context

Xinyun Chen, Petros Maniatis외 5명|arXiv (Cornell University)|2021. 06. 26.

Spreadsheets and End-User Computing인용 수 7

한 줄 요약

SpreadsheetCoder는 행과 열의 관계적 구조를 모두 인코딩하는 BERT 기반 신경망 모델로, 헤더와 셀 값 등 준구조화된 표 형식의 맥락을 사용하여 스프레드시트 수식을 예측한다. 이 모델은 42.51%의 top-1 전체 수식 정확도를 달성하고 Google Sheets에서 룰 기반 시스템보다 82% 더 많은 사용자를 지원하여, 풍부한 표 형식 맥락의 가치를 입증한다.

ABSTRACT

Spreadsheet formula prediction has been an important program synthesis problem with many real-world applications. Previous works typically utilize input-output examples as the specification for spreadsheet formula synthesis, where each input-output pair simulates a separate row in the spreadsheet. However, this formulation does not fully capture the rich context in real-world spreadsheets. First, spreadsheet data entries are organized as tables, thus rows and columns are not necessarily independent from each other. In addition, many spreadsheet tables include headers, which provide high-level descriptions of the cell data. However, previous synthesis approaches do not consider headers as part of the specification. In this work, we present the first approach for synthesizing spreadsheet formulas from tabular context, which includes both headers and semi-structured tabular data. In particular, we propose SpreadsheetCoder, a BERT-based model architecture to represent the tabular context in both row-based and column-based formats. We train our model on a large dataset of spreadsheets, and demonstrate that SpreadsheetCoder achieves top-1 prediction accuracy of 42.51%, which is a considerable improvement over baselines that do not employ rich tabular context. Compared to the rule-based system, SpreadsheetCoder assists 82% more users in composing formulas on Google Sheets.

연구 동기 및 목표

• 기존 수식 예측 방법이 입력-출력 예제에만 의존하고 스프레드시트 내의 구조적 및 의미적 맥락을 忽시하는 한계를 해결하기 위해.
• 헤더와 준구조화된 표 데이터를 암묵적인 사양으로 활용하여 수식 생성을 위한 신경망 모델을 개발하기 위해.
• 실제로 덜 구조화된 스프레드시트 표에서 행과 열 간의 종속성을 모델링하여 수식 예측 정확도를 향상시키기 위해.
• 제약이 있는 DSL을 넘어서 다양한 연산자와 셀 참조를 지원함으로써 더 유연한 수식 생성을 가능하게 하기 위해.
• 실제 스프레드시트에서의 평가를 통해 룰 기반 시스템 대비 측정 가능한 사용자 지원 향상을 입증함으로써 실용적 유용성을 입증하기 위해.

제안 방법

• 모델은 스프레드시트 표에 대해 미세조정된 BERT 인코더를 사용하여 각 셀에 대해 맥락 기반 임베딩을 생성하며, 별도의 인코딩 경로를 통해 행과 열의 맥락을 모두 통합한다.
• 대규모 표를 처리하기 위해 BERT의 512토큰 제한을 초월하는 경우, 다중 행과 다중 열을 여러 번의 순방향 전파에 걸쳐 타일링하여 입력을 처리한다.
• 두 단계의 디코딩 프로세스를 통해 먼저 구체적인 셀 참조 없이 수식 스케치를 생성한 후, 이후에 적절한 셀 범위를 예측하여 수식을 완성한다.
• 자연어 헤더의 의미적 이해를 향상시키기 위해 모델은 영어 텍스트 코퍼스로 사전학습하여 헤더의 맥락을 더 잘 포착하도록 한다.
• 모델 아키텍처는 100개 이상의 스프레드시트 연산자와 유연한 셀 참조를 지원하여 전체 실행 가능한 수식 생성이 가능하다.
• 모델은 조직 내에서 공개된 실제 스프레드시트의 대규모 벤치마크 데이터셋을 기반으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 입력-출력 예제 외에 표 헤더와 준구조화된 데이터를 통합하면 스프레드시트 수식 예측 성능이 향상되는가?
• RQ2 BERT 기반 아키텍처는 준구조화된 스프레드시트에서 이차원적 관계적 구조를 얼마나 효과적으로 모델링하는가?
• RQ3 행 간 및 열 간 종속성을 모델링함으로써 수식 예측 정확도는 어느 정도 향상되는가?
• RQ4 실제 스프레드시트 수식 작성 작업에서 신경망 모델이 룰 기반 시스템을 능가할 수 있는가?
• RQ5 기존의 프로그래밍-바이-예제 방식과 비교해 풍부한 표 형식 맥락을 포함할 경우 실질적인 사용자 지원에 어떤 영향을 미치는가?

주요 결과

• SpreadsheetCoder는 풍부한 표 형식 맥락을 사용하지 않는 기준 모델보다 뚜렷이 뛰어난 top-1 전체 수식 정확도 42.51%를 달성한다.
• 모델은 top-1 수식 스케치 정확도 57.41%를 기록하여 수식의 구조적 형태를 예측하는 데 뛰어난 성능을 보인다.
• 룰 기반 시스템과 비교해 SpreadsheetCoder는 Google Sheets에서 수식 작성 시 82% 더 많은 사용자를 지원하여 실제 적용에서의 실용적 영향을 입증한다.
• 입력 맥락에 표 헤더를 포함시킴으로써 성능 향상이 뚜렷하게 이루어지며, 이는 헤더가 의미적 단서로서 중요한 역할을 함을 시사한다.
• 수식 스케치를 먼저 생성하고, 이후에 셀 참조를 예측하는 두 단계의 디코딩 프로세스는 정확하고도 민감한 수식 생성을 가능하게 한다.
• 모델은 일관되지 않은 행 스키마나 상호의존성이 없는 데이터 블록을 포함한 다양한 스프레드시트 구조에 대해 잘 일반화된다.