[논문 리뷰] Citation Text Generation.

Kelvin Luu, Rik Koncel-Kedziorski외 3명|arXiv (Cornell University)|2020. 02. 02.

Topic Modeling참고 문헌 22인용 수 15

한 줄 요약

이 논문은 두 개의 과학적 문서 간의 관계를 설명하는 자연어 인용문을 생성하는 작업인 인용문 텍스트 생성을 소개한다. 저자들은 기준 코퍼스를 구축하고 기준 모델을 제안하여 현재 방법들이 유의미한 인용문을 생성할 수는 있지만 사실적 일관성과 미묘한 추론 능력에서는 어려움을 겪는다는 것을 입증한다.

ABSTRACT

We introduce the task of citation text generation: given a pair of scientific documents, explain their relationship in natural language text in the manner of a citation from one text to the other. This task encourages systems to learn rich relationships between scientific texts and to express them concretely in natural language. Models for citation text generation will require robust document understanding including the capacity to quickly adapt to new vocabulary and to reason about document content. We believe this challenging direction of research will benefit high-impact applications such as automatic literature review or scientific writing assistance systems. In this paper we establish the task of citation text generation with a standard evaluation corpus and develop several strong baseline models. We provide extensive automatic and human evaluations to illustrate the successes and shortcomings of current text generation techniques for this task.

연구 동기 및 목표

• 인용문 텍스트 생성 작업을 정의하고 형식화함. 이는 시스템이 과학적 문서 간의 관계를 설명하는 자연어 인용문을 생성하는 것을 목표로 함.
• 이 새로운 작업을 위한 체계적인 모델 평가를 가능하게 하는 표준 평가 코퍼스를 개발함.
• 맥락적으로 관련성 있고 문법적으로 올바른 인용문 텍스트를 생성할 수 있는 강력한 기준 모델을 구축함.
• 자동 평가와 인간 평가를 모두 활용하여 현재 텍스트 생성 기술의 품질과 한계를 평가함.
• 고품질 인용문 생성을 위해 필요로 하는 문서 이해, 추론 능력, 어휘 적응 능력에서의 핵심 과제를 규명함.

제안 방법

• 이 작업은 입력이 두 개의 과학적 문서이고 출력이 그들의 관계를 설명하는 자연어 인용문인 순서-순서 텍스트 생성으로 정의됨.
• 기준 모델로는 과학적 텍스트에서 미세조정된 BART 및 T5 아키텍처를 사용함.
• 학습 데이터는 과학 문헌의 인용 맥락에서 구성되며, 인용하는 문서와 인용된 문서가 쌍으로 구성됨.
• 모델은 순서 생성을 위한 표준 교차 엔트로피 손실로 최적화되며, 추론 시 빔 서치 디코딩을 사용함.
• 평가에는 자동 평가 지표(BLEU, ROUGE, BERTScore)와 유창성, 관련성, 사실적 정확성에 대한 인간 평가가 포함됨.
• 새로운 기준 코퍼스가 구축되어 공개되었으며, 인용문 텍스트로 주석 처리된 쌍으로 구성된 문서 관계를 포함함.

실험 결과

연구 질문

• RQ1 기존의 순서-순서 모델들이 두 과학적 문서 간의 관계를 정확히 반영하는 자연어 인용문을 얼마나 잘 생성할 수 있는가?
• RQ2 현재 모델들이 인용 형태로 표현된 과학 논문 간의 의미적 및 맥락적 관계를 어느 정도 포괄하는가?
• RQ3 현재 텍스트 생성 모델들이 사실적으로 일관되고 맥락적으로 적절한 인용문을 생성하는 데에 겪는 주요 한계는 무엇인가?
• RQ4 자동 평가 지표가 인용문 품질에 대한 인간 평가와 어느 정도 상관이 있는가?
• RQ5 미세조정 없이도 모델이 과학적 텍스트에서 새로운 어휘와 추론 패턴에 일반화할 수 있는가?

주요 결과

• 제안된 기준 코퍼스는 인용문 텍스트 생성 모델 평가를 위한 표준화된 자원을 제공함.
• 미세조정된 T5 및 BART 모델은 유창하고 관련성 있는 인용문 텍스트를 생성하지만, 사실적 일관성 측면에서 뚜렷한 한계를 보임.
• BERTScore와 같은 자동 평가 지표는 인간 평가와 중간 정도의 상관관계를 보이지만, 미묘한 정확성을 완전히 포착하지 못함.
• 인간 평가 결과에 따르면 모델들이 유력해 보이지만 사실적으로 잘못되거나 의미적으로 애매한 인용문을 생성하는 경향이 있음.
• 모델들은 문서 간의 대조, 확장, 또는 모순과 같은 복잡한 관계를 추론하는 데 어려움을 겪음.
• 이 작업은 현재 모델들이 과학적 내용을 이해하고 도메인 전용 어휘에 적응하는 능력에 심각한 격차가 있음을 드러냄.