[논문 리뷰] Table-to-Text: Describing Table Region with Natural Language

Junwei Bao, Duyu Tang외 5명|arXiv (Cornell University)|2018. 05. 29.

Handwritten Text Recognition Techniques인용 수 14

한 줄 요약

이 논문은 표의 행을 자연어로 설명하는 데 사용할 수 있는 신경형 인코더-디코더 모델인 Table2Seq을 제안한다. 이 모델은 표의 구조를 활용하고, 셀, 속성, 캡션에서 희귀 실체와 숫자를 선택적으로 복사함으로써 최신 기술 수준의 성능을 달성한다. WIKIBIO에서 BLEU-4 점수를 40.26으로 향상시키고, SIMPLEQUESTIONS에서 39.12로 개선하였으며, 13,318개의 주석이 달린 문장으로 구성된 오픈 도메인 WIKITABLETEXT 데이터셋도 함께 공개한다.

ABSTRACT

In this paper, we present a generative model to generate a natural language sentence describing a table region, e.g., a row. The model maps a row from a table to a continuous vector and then generates a natural language sentence by leveraging the semantics of a table. To deal with rare words appearing in a table, we develop a flexible copying mechanism that selectively replicates contents from the table in the output sequence. Extensive experiments demonstrate the accuracy of the model and the power of the copying mechanism. On two synthetic datasets, WIKIBIO and SIMPLEQUESTIONS, our model improves the current state-of-the-art BLEU-4 score from 34.70 to 40.26 and from 33.32 to 39.12, respectively. Furthermore, we introduce an open-domain dataset WIKITABLETEXT including 13,318 explanatory sentences for 4,962 tables. Our model achieves a BLEU-4 score of 38.23, which outperforms template based and language model based approaches.

연구 동기 및 목표

• 구조화된 표 영역, 특히 표의 행을 자연스럽고 관련성이 높은 자연어 문장으로 생성하는 데 도전하는 문제를 해결하기 위해.
• 어텐션과 구조화된 표현을 활용한 인코더-디코더 아키텍처를 통해 표의 의미를 효과적으로 모델링하기 위해.
• 표에서 흔히 나타나는 희귀어(예: 명명된 실체 및 숫자)를 처리하기 위해 소스 셀과 속성에서 직접 토큰을 선택적으로 복사할 수 있도록 허용함으로써, 어휘에서 벗어난 단어나 희귀어를 효과적으로 다루기 위해.
• 미래 연구를 지원하기 위해 4,962개의 표에 대해 13,318개의 설명 문장을 포함한 새로운 오픈 도메인 데이터셋인 WIKITABLETEXT를 공개하기 위해.
• 복사 메커니즘이 저자원 및 희귀어 상황에서 생성 품질과 견고성을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 모델은 GRU 기반 순환 네트워크와 어텐션 메커니즘을 사용한 인코더-디코더 프레임워크를 활용하여 표의 행을 연속적인 벡터 표현으로 매핑한다.
• 인코더는 속성, 셀, 캡션을 통합된 표현으로 인코딩함으로써 표의 구조를 반영하여 의미적 관계를 유지한다.
• 표의 셀, 속성, 또는 캡션에서 직접 토큰을 복사할 수 있도록 허용하는 새로운 복사 메커니즘을 도입한다. 이는 어휘에서 생성하는 대신 소스 표에서 직접 복사함으로써 희귀어 및 OOV(어휘 외 단어) 처리를 향상시킨다.
• 복사 메커니즘은 복사 여부를 결정하기 위해 게이트 메커니즘을 사용하여, 어휘에서 단어를 생성할지 또는 소스 표에서 복사할지를 결정함으로써 희귀어 및 어휘 외 단어 처리를 개선한다.
• 전체 모델는 교차 엔트로피 손실을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 유창성과 관련성 최적화를 위해 학습된다.
• 모델은 세 가지 데이터셋—WIKIBIO, SIMPLEQUESTIONS(합성 데이터), 그리고 새로 도입된 WIKITABLETEXT(오픈 도메인)—에서 평가된다.

실험 결과

연구 질문

• RQ1 구조화된 표 인코딩을 갖춘 신경 시퀀스-투-시퀀스 모델이 표의 행에 대해 자연스럽고 관련성이 높은 자연어 설명을 생성할 수 있는가?
• RQ2 표에서 희귀어 또는 어휘 외 단어를 다룰 때 복사 메커니즘이 생성 품질을 얼마나 효과적으로 향상시키는가?
• RQ3 제안된 모델이 오픈 도메인, 실제 세계의 표-텍스트 생성에서 템플릿 기반 및 언어 모델 기반 베이스라인을 초월하는가?
• RQ4 전반적인 성능에 기여하는 다양한 구성 요소들—예: 글로벌 컨텍스트, 로컬 어텐션, 복사 기능—의 기여도는 어떠한가?
• RQ5 모델이 생물학적 기록형 및 지식 기반 스타일의 표를 포함한 다양한 표 구조와 도메인에 얼마나 일반화되는가?

주요 결과

• WIKIBIO 데이터셋에서 제안된 Table2Seq 모델은 BLEU-4 점수 40.26을 기록하여 이전 최신 기술 수준인 34.70보다 크게 향상되었다.
• SIMPLEQUESTIONS 데이터셋에서 모델은 BLEU-4 점수 39.12를 기록하여 이전 최신 기술 수준인 33.32를 초월하였다.
• 복사 메커니즘이 성능 향상에 크게 기여함을 확인하였으며, 이를 제거하면 SIMPLEQUESTIONS에서 3점 이상, WIKIBIO에서 3.5점 이상 BLEU-4 점수가 감소하였다.
• 복사 기능이 없는 모델조차도 베이스라인 Table NLM를 능가하는 것으로 나타나, 어텐션 기반 GRU 디코더가 추가적인 성능 향상을 제공한다는 것을 시사한다.
• 오픈 도메인 WIKITABLETEXT 데이터셋에서 모델은 BLEU-4 점수 38.23을 기록하였으며, 템플릿 기반 및 언어 모델 기반 접근 방식보다 크게 뛰어났다.
• 제거 실험 결과, 글로벌 컨텍스트와 로컬 어텐션 모두 필수적이며, 글로벌 컨텍스트가 약간 더 큰 기여도를 보였다.