[논문 리뷰] Diversity Enhanced Table-to-Text Generation via Type Control

Yotam Perlitz, Liat Ein-Dot외 3명|arXiv (Cornell University)|2022. 05. 22.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 논리 유형(Logic-Type, LT) 제어를 사용하여 고품질의 사실적으로 정확하고 다양한 자연어 문장을 표 형식 데이터에서 생성하는 다양성 향상 테이블 텍스트 생성 방법인 DevTC를 제안한다. 집계, 비교, 수량 등 다양한 LT에 조건을 줌으로써 모델은 입력 테이블당 다수의 고유하고 품질 높은 출력을 생성하며, 확률적 디코딩에 의존하지 않고도 사실성과 다양성의 상호 양조를 개선한다.

ABSTRACT

Generating natural language statements to convey logical inferences from tabular data (i.e., Logical NLG) is a process with one input and a variety of valid outputs. This characteristic underscores the need for a method to produce a diverse set of valid outputs, presenting different perspectives of the input data. We propose a simple yet effective diversity-enhancing scheme that builds upon an inherent property of the statements, their logic-types, by using a type-controlled table-to-text generation model. We demonstrate, through extensive automatic and human evaluations over the two publicly available Logical NLG datasets, that our proposed method both facilitates the ability to effectively control the generated statement type, and produces results superior to the strongest baselines in terms of quality and factuality-diversity trade-off.

연구 동기 및 목표

• 기존 테이블 텍스트(T2T) 생성 모델에서의 다양성 부족과 제어 불능 문제를 해결하기 위해, 자주 반복되거나 품질이 낮은 출력을 생성하는 경향이 있다.
• 한 개의 입력 테이블에서 다수의 고유하고 사실적으로 정확한 문장을 생성함으로써 다양한 논리적 관점에서 표현할 수 있도록 하기 위해.
• 확률적 디코딩을 제거하고 구조적인 논리 유형 조건부 조건을 도입함으로써 사실성과 다양성의 상호 양조를 향상시키기 위해.
• 논리 유형 제어가 T2T 생성의 품질과 제어 가능성 향상에 기여함을 입증하기 위해.
• 논리 유형 레이블이 누락된 경우에도 모델이 강건하게 유지되며, 자동 평가 및 인간 평가 모두에서 베이스라인을 능가함을 보여주기 위해.

제안 방법

• 이 방법은 7개의 사전 정의된 논리 유형(수량, 비교, 초월, 유일, 순서, 집계, 다수) 중 하나에 조건을 줘서 문장을 생성하도록 훈련된 논리 유형(LT)-제어 T2T 생성 모델을 도입한다.
• Logic2Text 데이터셋에서 8.5K개의 (문장, LT) 쌍을 사용해 BERT 기반 분류기를 미세조정하여 훈련 데이터를 자동으로 LT로 레이블링하며, 테스트 데이터에서 매크로 F1 점수가 97%에 도달한다.
• 추론 단계에서 DevTC는 7개 유형에서 균일하게 샘플링한 5개의 다른 LT에 조건을 줌으로써 다섯 개의 다양한 문장을 생성하며, 확률적 디코딩 없이도 제어 가능한 다양성을 실현한다.
• 모델은 사전 훈련된 T2T 생성기(GPT-TabGen 등)를 활용하고, 테이블과 원하는 LT에 조건을 줌으로써 시퀀스 투 시퀀스 프레임워크에 LT 임베딩 입력을 사용한다.
• LT 예측과 생성을 분리함으로써 사실성 향상을 도모하며, 확률적 디코딩으로 인한 품질 저하를 피한다.
• 프레임워크는 자동 평가 및 인간 평가를 위한 검증을 위해 두 개의 공개 데이터셋인 LogicNLG와 Logic2Text에서 평가된다.

실험 결과

연구 질문

• RQ1 논리 유형 제어가 단일 테이블 입력에서 다양하고 고품질의 문장을 생성하는 데 기여하는가?
• RQ2 확률적 디코딩 기반 베이스라인과 비교해 LT 제어 생성이 사실성과 다양성의 상호 양조를 향상시키는가?
• RQ3 입력 LT가 누락된 경우에도 모델이 생성된 문장의 논리 유형에 대해 얼마나 잘 제어할 수 있는가?
• RQ4 유창성, 적절성 및 사실적 정확성 측면에서 최신 T2T 모델과 비교해 모델의 성능은 어떠한가?
• RQ5 희귀하거나 어휘적 변동성이 큰 유형(예: 순서형)을 포함한 다양한 논리 유형에서 사실적으로 정확한 문장을 생성할 수 있는가?

주요 결과

• DevTC는 자동 평가에서 파레토 최적 해에 더 유리한 위치를 차지하며, 가장 강력한 베이스라인인 GPT-TabGen보다 사실성과 다양성의 상호 양조에서 뛰어난 성능을 보였다.
• 인간 평가 결과, DevTC는 55%의 경우에서 베이스라인보다 더 사실적으로 평가되었으며, 통계적으로 유의미한 우위(α < 0.05)를 보였다.
• 7개의 논리 유형 평균으로 79.8%의 LT 일관성을 달성했으며, 이는 베이스라인 모델의 17% 일관성보다 유의미하게 높았다.
• 순서형 논리 유형의 경우 어휘적 변동성과 훈련 데이터 부족으로 인해 가장 낮은 일관성(68.4%)을 보였으며, 이는 희귀 유형에서의 향상 여지를 시사한다.
• 입력 LT가 없더라도 DevTC는 높은 사실성을 유지했으며, 자동 평가 및 인간 평가 모두에서 베이스라인을 능가했다.
• 확률적 디코딩으로 인한 품질 저하를 피하기 위해, 다양성은 구조적인 LT 조건부 조건을 통해 달성된다.