[논문 리뷰] Table-To-Text generation and pre-training with TabT5

Ewa Andrejczuk, Julian Martin Eisenschlos외 3명|arXiv (Cornell University)|2022. 10. 17.

Statistics Education and Methodologies인용 수 4

한 줄 요약

TabT5는 웹 테이블에서 디노이징 오토인코딩 목적함수를 사용한 사전학습과 함께 행 및 열 위치 임베딩을 통합한 T5 기반의 인코더-디코더 모델로, 테이블 텍스트 생성을 향상시킨다. 다양한 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 스프레드시트 수식 예측에서 순서 정확도가 15% 향상되었고, 질문 응답 및 데이터 텍스트 생성에서 BLEU 점수와 순서 정확도가 각각 2.5% 향상되었다.

ABSTRACT

Encoder-only transformer models have been successfully applied to different table understanding tasks, as in TAPAS (Herzig et al., 2020). A major limitation of these architectures is that they are constrained to classification-like tasks such as cell selection or entailment detection. We present TABT5, an encoder-decoder model that generates natural language text based on tables and textual inputs. TABT5 overcomes the encoder-only limitation by incorporating a decoder component and leverages the input structure with table specific embeddings and pre-training. TABT5 achieves new state-of-the-art results on several domains, including spreadsheet formula prediction with a 15% increase in sequence accuracy, QA with a 2.5% increase in sequence accuracy and data-to-text generation with a 2.5% increase in BLEU.

연구 동기 및 목표

• 복잡한 작업에서 자연어 생성이 필요한 경우, 인코더-오직 모델이 테이블에서 전체 텍스트 출력을 생성하는 데에 한계가 있음을 해결하기 위해.
• 테이블의 구조적 특성과 텍스트적 맥락을 모두 활용하여 향상된 시퀀스-투-시퀀스 생성을 위한 통합 프레임워크를 개발하기 위해.
• 대규모 웹 테이블을 사용하여 디노이징 목적함수를 통해 사전학습하여 테이블의 구조와 내용을 더 잘 이해하도록 모델을 훈련시키기 위해.
• 영향력 있는 사전학습 모델을 기반으로 하여, 수식 예측, 질문 응답, 데이터 텍스트 생성 등의 다양한 작업에서 제로샷 및 피처샷 설정에서 성능을 평가하기 위해.
• 행/열 임베딩과 디노이징 사전학습 목적함수와 같은 핵심 구성 요소의 기여도를 검증하기 위해 아블레이션 연구를 수행하기 위해.

제안 방법

• TabT5는 테이블 입력을 행 단위로 선형화하고, 각 셀을 고유한 행 및 열 위치 정보와 함께 전용 위치 임베딩을 사용하여 인코딩한다.
• 모델은 T5 기반의 시퀀스-투-시퀀스 아키텍처를 사용하며, 종단 간 학습을 위한 공유 인코더-디코더 트랜스포머 아키텍처를 채택한다.
• 15%의 테이블 셀이 마스킹되고 디코더가 원본 콘텐츠를 재구성하도록 훈련되는 디노이징 사전학습 목적함수를 적용한다.
• 입력 표현에는 질문, 테이블 헤더, 셀 등의 구성 요소 유형을 포함하여 입력 시퀀스 내의 의미 역할을 구분한다.
• 표준 시퀀스 생성 손실을 사용하여 수식 예측, 질문 응답, 데이터 텍스트 생성 등의 최종 작업에 대해 미세조정한다.
• 행/열 임베딩 또는 디노이징 사전학습 목적함수를 제거하여 성능에 미치는 영향을 평가하기 위해 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 구조화된 위치 임베딩을 갖춘 인코더-디코더 트랜스포머 아키텍처가 테이블 텍스트 생성 작업에서 인코더-오직 모델보다 우월한 성능을 낼 수 있는가?
• RQ2 웹 테이블에서 디노이징 사전학습을 수행하면 다양한 테이블 텍스트 생성 작업 간 일반화 능력이 어느 정도 향상되는가?
• RQ3 행 및 열 위치 임베딩은 모델이 테이블 데이터에서 텍스트를 이해하고 생성하는 데에 어떻게 기여하는가?
• RQ4 제한된 감독 신호로 미세조정된 경우, 저자원 또는 도메인 외부 테이블 형식에 대해 모델이 잘 일반화되는가?
• RQ5 생성된 출력에서 가장 흔한 오류는 무엇이며, 이러한 오류는 사전학습 목적함수와 모델 아키텍처와 어떤 관련이 있는가?

주요 결과

• 기존 최신 기술 수준(SOTA) 방법보다 TabT5는 Enron 스프레드시트 수식 예측 벤치마크에서 순서 정확도 15% 상승을 달성했다.
• ToTTo 질문 응답 데이터셋에서 TabT5-base는 71.61%의 순서 정확도를 기록하여 T5-base 기준선보다 2.21%포인트 높은 성능을 보였다.
• FinQA 추론 벤치마크에서 TabT5-large는 70.79%의 프로그램 정확도와 68.00%의 실행 정확도를 기록하여 이전 접근 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, 행/열 임베딩 또는 디노이징 사전학습 목적함수를 제거할 경우 성능 저하가 발생하여 이들이 성능 향상에 결정적인 역할을 한다는 점을 확인했다.
• 오류 분석 결과, TabT5 출력의 55%는 T5 출력의 다듬어진 표현(Paraphrase)이었고, 72.5%는 내용은 정확하지만 약간의 생략이 있는 것으로 간주될 수 있었으며, 이는 유창성과 일관성 면에서 뛰어난 성능을 의미한다.
• 반드시 잘못된 이름 엔티티를 생성하는 편향을 보이지만, 대부분의 환상(Hallucinations)은 경미하고 지식 기반의 지표와 유사한 의미적 특성을 띠고 있어, 사전학습 과정에서 유사하지만 잘못된 이름 엔티티를 생성하도록 편향되어 있음을 시사한다.