[논문 리뷰] STable: Table Generation Framework for Encoder-Decoder Models

Michał Pietruszka, Michał Turski외 6명|arXiv (Cornell University)|2022. 06. 08.

Data Quality and Management인용 수 4

한 줄 요약

STable는 인코더-디코더 모델에서 순열 기반 훈련과 문법 제약이 있는 동적 셀 순서 디코딩을 사용하는 텍스트-테이블 생성을 위한 새로운 프레임워크를 제안한다. 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하며, 자동회귀 방법에서 발생하는 오류 누적 문제를 피하는 유연하고 신뢰도 기반의 테이블 생성을 통해 F1 점수를 최대 15% 향상시킨다.

ABSTRACT

The output structure of database-like tables, consisting of values structured in horizontal rows and vertical columns identifiable by name, can cover a wide range of NLP tasks. Following this constatation, we propose a framework for text-to-table neural models applicable to problems such as extraction of line items, joint entity and relation extraction, or knowledge base population. The permutation-based decoder of our proposal is a generalized sequential method that comprehends information from all cells in the table. The training maximizes the expected log-likelihood for a table's content across all random permutations of the factorization order. During the content inference, we exploit the model's ability to generate cells in any order by searching over possible orderings to maximize the model's confidence and avoid substantial error accumulation, which other sequential models are prone to. Experiments demonstrate a high practical value of the framework, which establishes state-of-the-art results on several challenging datasets, outperforming previous solutions by up to 15%.

연구 동기 및 목표

• 자동회귀적 텍스트-테이블 생성에서 발생하는 오류 누적과 구조적 일관성 문제를 해결하기 위해 테이블 구조를 명시적으로 모델링한다.
• 엔티티-관계 추출, 지식 기반 구축, 송장 파싱 등의 다양한 NLP 작업을 하나의 엔드 투 엔드 학습 가능한 프레임워크로 통합한다.
• 고정된 행 또는 열 기반 순서 제약 없이, 모델이 이끄는 순서에 따라 민감도가 높고 신뢰도가 높은 디코딩 순서를 가능하게 한다.
• 모든 셀 분해 순서의 순열을 기반으로 훈련하여 일반화 능력과 강인성을 향상시킨다.
• 후처리가 필요 없는 구조적이고 유효한 테이블을 직접 출력함으로써 후속 처리 단계를 줄인다.

제안 방법

• 테이블 셀의 가능한 모든 분해 순서에 대해 기대 로그우도를 최대화하는 순열 기반 훈련 절차를 도입한다.
• 잘못된 토큰 시퀀스(예: 열린 셀 없이 셀을 끝내는 것)를 방지함으로써 구조적 타당성을 보장하는 문법 제약이 있는 디코더를 사용한다.
• 추론 중에 각 단계에서 가장 높은 모델 신뢰도를 가진 셀을 선택하는 동적이고 신뢰도 기반의 셀 선택 전략을 활용하여 오류 전파를 최소화한다.
• 한 번에 여러 셀을 병렬로 디코딩함으로써 성능 저하 없이 속도 향상을 달성한다.
• 사전에 행 수를 예측하여 콘텐츠 생성 이전에 구조적 초기화를 수행한다.
• 일반 텍스트 및 문서 입력을 처리할 수 있도록 T5와 TILT 기반 인코더를 활용하여 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 순열 기반 훈련 방식이 텍스트-테이블 생성에서 일반화 능력과 강인성을 향상시키는가?
• RQ2 고정 순서의 자동회귀적 생성과 비교해 동적이고 신뢰도 기반의 셀 순서 디코딩이 오류 누적을 줄이는가?
• RQ3 문법 제약이 있는 디코딩이 후처리 없이도 생성된 테이블의 구조적 타당성을 보장할 수 있는가?
• RQ4 디코딩 순서의 민감도가 다양한 테이블 생성 작업 전반에서 성능에 어떤 영향을 미치는가?
• RQ5 병렬 디코딩이 높은 품질의 출력을 유지하면서 추론 속도를 얼마나 향상시킬 수 있는가?

주요 결과

• PWC ★ 데이터셋에서 STable은 상대적 F1 점수를 14.9% 향상시켜 26.8에서 30.8로 상승시켰다.
• 은행 명세서 데이터셋에서 F1 점수는 8.8점 상승(61.1에서 69.9로)하여 상대적 향상률 14.4%를 기록했다.
• CORD 및 Rotowire Team 데이터셋에서 선형화된 기반 모델보다 우수한 성능을 보이며 다양한 작업에서 일관된 향상을 입증했다.
• 원거리 행 제약 없이 열 기반 순서로 디코딩하는 것이 열악한 성능을 보였으며, 이는 민감도가 높고 모델이 이끄는 순서가 더 우수함을 시사한다.
• 한 번에 최대 10개의 셀을 병렬로 디코딩함으로써 추론 시간을 최대 5배로 단축시켰으며, Team 및 DWIE와 같은 데이터셋에서 성능 저하가 최소한이었다.
• 외부 루프 히우리스틱(최소/최대 내부 점수)의 선택이 내부 점수 계산 방법보다 성능에 더 큰 영향을 미쳤으며, 이는 신뢰도 기반 선택 전략의 타당성을 입증한다.