[논문 리뷰] Learning to Reason for Text Generation from Scientific Tables

Nafise Sadat Moosavi, Andreas Rücklé외 2명|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 36인용 수 11

한 줄 요약

이 논문은 과학적 표에서 산술 추론이 필요한 추론 인식 텍스트 생성을 위한 대규모 데이터셋인 SciGen을 소개한다. BART 및 T5와 같은 최신 모델을 평가한 결과, 유창성은 높지만 사실적 정확도가 심각하게 떨어지는 것으로 드러났으며, 신뢰할 수 있는 자동 평가 메트릭의 부족이 핵심 장애물임을 밝혔다. 인간 평가 결과 최고의 경우에도 사실적 정확도가 40%에 불과하다.

ABSTRACT

In this paper, we introduce SciGen, a new challenge dataset for the task of reasoning-aware data-to-text generation consisting of tables from scientific articles and their corresponding descriptions. Describing scientific tables goes beyond the surface realization of the table content and requires reasoning over table values. The unique properties of SciGen are that (1) tables mostly contain numerical values, and (2) the corresponding descriptions require arithmetic reasoning. SciGen is therefore the first dataset that assesses the arithmetic reasoning capabilities of generation models on complex input structures, i.e., tables from scientific articles. We study the effectiveness of state-of-the-art data-to-text generation models on SciGen and evaluate the results using common metrics as well as human evaluation. Our results and analyses show that (a) while humans like to reason for describing scientific tables, the ability of state-of-the-art models is severely limited on this task, (b) while adding more training data improves the results, it is not the solution for reasoning-aware text generation, and (c) one of the main bottlenecks for this task is the lack of proper automatic evaluation metrics. The data, code, and annotations for human evaluation will be available at https://github.com/UKPLab/SciGen. SciGen opens new avenues for future research in reasoning-aware text generation and evaluation.

연구 동기 및 목표

• 과학적 표를 설명할 때 산술 추론 능력이 부족한 데이터 텍스트 생성 모델의 격차를 보완한다.
• 수치 값을 포함한 과학적 표를 활용한 추론 인식 텍스트 생성을 위한 고품질, 확장 가능한 데이터셋을 구축한다.
• 비용이 많이 드는 전문가 주석에 의존하지 않도록, LaTeX 파일에서 고품질의 표-설명 쌍을 자동으로 추출하는 비지도 파이프라인을 개발한다.
• 자동 메트릭과 인간 평가를 모두 활용하여 최신 모델(BART, T5)의 추론 인식 텍스트 생성 성능을 평가한다.
• 기존 자동 평가 메트릭의 한계를 규명하고, 추론 중심의 생성 작업에서 인간 평가와의 상관관계가 떨어지는 이유를 입증한다.

제안 방법

• 컴퓨터 과학 분야의 과학 논문에서 산술 추론이 필요한 표-설명 쌍 1,300개를 전문가 주석으로 수집 및 정제한다 (예: argMax, 비교, 뺄셈).
• LaTeX 파일에서 표와 해당 설명을 자동으로 쌍으로 추출하는 비지도 추출 파이프라인을 개발하여 확장 가능한 데이터 수집을 가능하게 한다.
• 전문가 주석 쌍과 자동 추출 쌍을 조합하여 소량(소량 학습), 중간, 대규모 세 가지 데이터셋 분할을 구성한다.
• 저품질의 자동 추출 쌍을 걸러내기 위해 후처리 및 정제 기법을 적용하여 학습에 적합한 고품질 데이터를 확보한다.
• SciGen 데이터셋에 대해 최신의 순서-순서 모델(BART 및 T5)을 미세조정하여 표에서 텍스트 생성을 수행한다.
• 각 문장에 대해 네 가지 레이블(포함됨, 추가됨, 잘못됨, 환각됨)을 사용한 인간 평가를 수행하여 재현율, 정밀도, 정확도 및 환각 비율을 산정한다.

실험 결과

연구 질문

• RQ1 최신 사전 학습된 언어 모델은 과학적 표에서 산술 추론이 필요한 추론 인식 텍스트 생성 작업에서 얼마나 잘 수행되는가?
• RQ2 자동으로 추출한 학습 데이터를 추가할 경우 모델 성능과 사실적 정확도에 어떤 영향을 미치는가?
• RQ3 일반적으로 사용되는 자동 평가 메트릭(BLEU, ROUGE 등)은 추론 인식 텍스트 생성 평가에 얼마나 신뢰할 수 있는가?
• RQ4 현재 모델이 과학적 표에서 설명을 생성할 때 나타나는 주요 실패 유형은 무엇인가?
• RQ5 인간 평가가 자동 메트릭이 감지하지 못하는 한계를 어느 정도 드러내는가?

주요 결과

• BART 및 T5와 같은 최신 모델은 유창하고 일관된 텍스트를 생성하지만, 산술 추론 능력이 열악하여 60% 이상의 경우 사실적으로 잘못된 결과를 낸다.
• 인간 평가 결과, 생성된 문장의 40%만 사실적으로 정확하고, 참값 문장의 10%만 커버되며, 이는 심각한 성능 격차를 시사한다.
• 자동으로 추출한 학습 데이터를 추가하면 재현율, 정밀도, 정확도는 향상되고 환각 비율은 감소하지만, 대규모 설정에서는 중간 설정보다 정확도가 낮아지는 경향이 있으며, 이는 도메인 이탈의 영향일 가능성이 높다.
• BLEU 및 ROUGE와 같은 일반적인 자동 메트릭은 인간 평가와 상관관계가 없으며, 고품질 및 저품질 출력을 신뢰성 있게 구분하지 못한다.
• 인간 평가 결과, 잘못된 문장은 사실적으로 틀리지만 표와 관련성이 있는 경우가 많으며 (예: 모델 성능 비교를 잘못 기재), 이는 심각한 실패 유형임을 드러낸다.
• 신뢰할 수 있는 자동 평가 메트릭의 부족이 추론 인식 텍스트 생성 분야의 발전을 저지하는 주요 장애물임을 규명하였으며, 인간 평가는 의미 있는 평가를 위해 필수적임을 확인하였다.