[논문 리뷰] Logic2Text: High-Fidelity Natural Language Generation from Logical Forms

Zhiyu Chen, Wenhu Chen외 5명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 다중 행 테이블에서 고정밀도 자연어 생성을 위한 10,753개의 (논리적 형태, 자연어 기술) 쌍으로 구성된 대규모 데이터셋인 Logic2Text를 제안한다. 논리적 형태를 중간 의미 표현으로 제공함으로써, 제어 가능하고 사실적으로 정확한 생성이 가능해지며, GPT-2는 인간 평가에서 82.4%의 사실적 정확도를 기록하여 논리적 형태가 정밀도 향상에 핵심적인 역할을 한다는 것을 입증한다.

ABSTRACT

Previous works on Natural Language Generation (NLG) from structured data have primarily focused on surface-level descriptions of record sequences. However, for complex structured data, e.g., multi-row tables, it is often desirable for an NLG system to describe interesting facts from logical inferences across records. If only provided with the table, it is hard for existing models to produce controllable and high-fidelity logical generations. In this work, we formulate logical level NLG as generation from logical forms in order to obtain controllable, high-fidelity, and faithful generations. We present a new large-scale dataset, extsc{Logic2Text}, with 10,753 descriptions involving common logic types paired with the underlying logical forms. The logical forms show diversified graph structure of free schema, which poses great challenges on the model's ability to understand the semantics. We experiment on (1) Fully-supervised training with the full datasets, and (2) Few-shot setting, provided with hundreds of paired examples; We compare several popular generation models and analyze their performances. We hope our dataset can encourage research towards building an advanced NLG system capable of natural, faithful, and human-like generation. The dataset and code are available at https://github.com/czyssrs/Logic2Text.

연구 동기 및 목표

• 기존의 자연어 생성(NLG) 시스템이 복잡한 다중 행 테이블에 대해 표면적인 기술만 생성하는 데에 한계가 있음을 해결하기 위해.
• 테이블 레코드 간 고차원적 추론을 위한 중간 표현으로 논리적 형태를 도입함으로써 생성의 정밀도와 제어 가능성을 향상시키기 위해.
• 다양하고 자유형식의 논리적 형태와 인간 전문가가 애너테이션한 기술을 포함한 고품질, 대규모 데이터셋을 제공하여 학습 및 평가를 위해 사용하기 위해.
• 완전 지도 학습 및 소수의 예제 설정에서 논리적 형태가 생성 품질에 미치는 영향을 평가하기 위해.
• 정확하고 인간처럼, 논리적으로 올바른 텍스트 생성이 가능한 고급 NLG 시스템에 대한 연구를 촉진하기 위해.

제안 방법

• 논문은 인간 전문가가 애너테이션한 5,600개의 개방 도메인 테이블과 10,800개의 (논리적 형태, 기술) 쌍을 포함하는 새로운 데이터셋인 Logic2Text를 소개한다.
• 논리적 형태는 수많은 그래프 기반 의미를 가진 파이썬 유사 프로그램 구조로 표현되며, 수량 세기, 초월, 비교, 집계, 다수결, 유일성, 순서 등 다양한 연산을 인코딩한다.
• 이 작업은 테이블과 해당 논리적 형태를 조건으로 하는 텍스트 생성으로 정의되며, 추론과 언어 표현의 분리가 가능해진다.
• 기준 모델로는 포인터-생성기, 그래프2시퀀스, 트랜스포머, GPT-2를 사용하였으며, 완전 지도 학습 및 소수의 예제 학습 설정에서 평가하였다.
• 정확성과 유창성의 정성적 평가를 위해 전문가가 인간 평가를 수행하였으며, 각 모델에 대해 200개의 예제를 분석하여 정밀도를 평가하였다.
• 생성 품질에 영향을 주는 입력 구성 요소인 테이블 캡션, 헤더, 콘텐츠의 기여도를 분석하기 위해 추론 실험(ablation study)를 수행하였다.

실험 결과

연구 질문

• RQ1 테이블 자체에서 생성하는 것과 비교해 논리적 형태를 입력으로 제공할 경우, 자연어 생성 출력의 사실적 정확도와 유창성에 어떤 영향을 미치는가?
• RQ2 완전 지도 학습 및 소수의 예제 설정에서, GPT-2와 같은 사전 학습된 언어 모델이 논리적 형태에 안내됨으로써 얼마나 높은 정밀도의 생성을 달성할 수 있는가?
• RQ3 테이블 캡션, 헤더, 콘텐츠와 같은 다양한 입력 구성 요소가 생성된 기술의 품질에 기여하는 정도는 어떠한가?
• RQ4 다양한 신경 생성 모델이 논리적 형태에서 생성할 때 의미 정확도와 유창성 측면에서 어떻게 비교되는가?
• RQ5 제안된 데이터셋은 텍스트에서 논리적 형태로의 생성(의미 해석)과 같은 역방향 작업을 지원할 수 있으며, 평가 신뢰도는 어떻게 향상되는가?

주요 결과

• GPT-2 모델은 논리적 형태에서 생성할 때 인간 평가에서 82.4%의 사실적 정확도를 기록하였으며, 이는 테이블에서만 생성할 경우 이전 연구에서 달성한 20.2%의 사실적 정확도보다 뚜렷이 높은 성능을 보였다.
• 완전 지도 학습 설정에서 GPT-2는 BLEU-4 점수 31.44와 ROUGE-L 점수 53.99를 기록하여 자동 평가 지표에서 강력한 성능을 보였다.
• 단지 1,000개의 학습 예제만으로도 GPT-2 모델은 ROUGE-L 점수 47.67을 달성하여 강력한 소수의 예제 일반화 능력을 보였다.
• 추론 실험 결과, 테이블 캡션과 헤더가 강력한 맥락 신호를 제공하며, 특히 캡션이 성능 향상에 가장 큰 기여를 했다.
• 인간 평가 결과, 논리적 형태를 사용할 경우 의미 정확도가 뚜렷이 향상되었으며, GPT-2는 일부 사실적 오류나 논리적 오류가 존재하더라도 높은 정밀도를 유지하였다.
• 각 논리적 형태와 해당 참조 기술 간 유일한 매핑 덕분에 데이터셋은 의미 정확도 평가를 정밀하게 가능하게 하였으며, 기준 기반 평가 지표의 모호함을 피할 수 있었다.