[논문 리뷰] Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Ondřej Dušek, Zdeněk Kasner|arXiv (Cornell University)|2020. 11. 21.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 자연어 추론(NLI)에 최적화된 RoBERTa 모델을 사용하여 데이터에서 텍스트로(D2T) 생성의 의미 정확도를 평가하기 위한 새로운 참조 없는 메트릭을 제안한다. 구조화된 입력 데이터를 자연어 템플릿으로 변환하고, 이중 방향의 함의 검사를 수행함으로써 생성된 텍스트가 입력 사실을 함의하는지(누락 여부 확인), 그리고 입력 사실이 생성된 텍스트를 함의하는지(허구 정보 여부 확인)를 검사한다. 이 방법은 E2E에서 90% 이상, WebNLG에서 75% 이상의 정확도를 기록하며, 수동으로 제작된 기준 메트릭을 능가하고 인간 평가 수준에 근접하는 성능을 내며 최소한의 수작업으로도 구현된다.

ABSTRACT

A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. checking if the output text contains all and only facts supported by the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

연구 동기 및 목표

• 모델이 사실을 누락하거나 근거 없는 정보를 생성하는 문제를 해결하기 위해 데이터에서 텍스트로 생성의 의미 정확도를 자동으로 측정하는 데에 초점을 맞춘다.
• 인간이 수작업으로 작성한 참조나 도메인 특화 학습이 필요 없는 확장 가능한 참조 없는 평가 방법을 개발한다.
• 사전 학습된 자연어 추론(NLI) 모델을 활용하여 생성된 텍스트의 의미 오류, 예를 들어 누락과 허구 정보를 탐지한다.
• E2E와 WebNLG와 같은 다양한 D2T 데이터셋에서 이 방법의 효과성을 평가하며, 최소한의 인간 간섭으로도 현실적인 조건에서 성능을 검증한다.

제안 방법

• 간단하고 일관된 템플릿(예: 'Blue Spice는 파블러이다')을 사용하여 각 구조화된 입력 사실을 자연어 문장으로 변환한다.
• 사전 학습된 RoBERTa 모델을 자연어 추론(NLI) 작업에 맞게 미세조정하여 입력 사실과 생성된 텍스트 간의 관계를 분류한다.
• 이중 방향의 함의 검사를 수행한다: (1) 입력 사실을 전제로, 생성된 텍스트를 가설로 하여 허구 정보를 탐지하고, (2) 생성된 텍스트를 전제로, 입력 사실을 가설로 하여 누락 여부를 탐지한다.
• 각 쌍을 함의, 모순, 중립으로 분류하며, 어느 한 방향에서라도 모순이 발생하면 의미 오류로 간주한다.
• 모든 입력 사실에 대해 결과를 집계하여 생성된 텍스트의 종합적 의미 정확도를 결정한다.
• 도메인 특화 미세조정이나 인간이 수작업으로 작성한 참조 없이도, 일반 목적의 NLI 모델과 기본적인 텍스트 템플릿만을 사용하여 방법을 적용한다.

실험 결과

연구 질문

• RQ1 사전 학습된 NLI 모델이 데이터에서 텍스트로 생성 결과에서 오류인 누락과 허구 정보를 효과적으로 탐지할 수 있는가?
• RQ2 이 NLI 기반 메트릭의 성능은 수작업 스크립트나 기반 참조 메트릭에 비해 정확도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 일반 목적의 NLI 모델이 도메인 특화 미세조정이나 인간 수작업 참조 없이도 의미 정확도 오류를 얼마나 잘 탐지할 수 있는가?
• RQ4 이 NLI 기반 메트릭의 주요 실패 원인은 무엇이며, 도메인 적응을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 NLI 기반 메트릭은 E2E 챌린지 데이터셋에서 97.8%의 정확도를 기록하며, 수작업 스크립트의 99.5%에 근접한 성능을 보였다.
• 더 복잡한 WebNLG 데이터셋에서는 76.5%의 정확도와 97.6%의 재현율을 기록하여, 도메인 복잡도가 높음에도 불구하고 뛰어난 성능을 보였다.
• 입력 사실과 생성된 텍스트 사이의 이중 방향 함의 검사를 통해 누락과 허구 정보를 효과적으로 탐지할 수 있었다.
• 수작업 오류 분석 결과, 메트릭이 오류로 분류한 많은 사례들이 실제로 의미적으로 잘못된 것으로 확인되어 메트릭의 신뢰성을 입증했다.
• 참조 없는 어휘 정확도 메트릭보다 우수한 성능을 보였으며, 특히 확장성과 낮은 인간 노력의 관점에서 인간 평가와도 경쟁 가능한 성능을 보였다.
• 도메인 특화 미세조정 없이도 이 방법이 효과를 발휘했으며, 소규모 도메인 적응을 통해 성능이 향상됨을 확인하여 향후 최적화 가능성을 시사했다.