[논문 리뷰] Template-free Data-to-Text Generation of Finnish Sports News

Jenna Kanerva, Samuel Rönnqvist외 3명|arXiv (Cornell University)|2019. 10. 04.

Natural Language Processing Techniques참고 문헌 22인용 수 10

한 줄 요약

이 논문은 구조화된 아이스하키 경기 통계에서 핀란드어 스포츠 뉴스를 생성하기 위한 템플릿 기반, 엔드 투 엔드 신경망 모델을 제시한다. 뉴스 기사와 경기 이벤트를 수작업으로 정렬하여 고품질의 훈련 코퍼스를 구축함으로써, 기자들이 75–90%의 유용성으로 직접 기계 생성 뉴스 또는 수정 후 사용이 가능하다고 평가한 문법적으로 유창한 텍스트를 생성하였으며, 원시 데이터 훈련에 비해 환각 현상이 크게 감소하였다.

ABSTRACT

News articles such as sports game reports are often thought to closely follow the underlying game statistics, but in practice they contain a notable amount of background knowledge, interpretation, insight into the game, and quotes that are not present in the official statistics. This poses a challenge for automated data-to-text news generation with real-world news corpora as training data. We report on the development of a corpus of Finnish ice hockey news, edited to be suitable for training of end-to-end news generation methods, as well as demonstrate generation of text, which was judged by journalists to be relatively close to a viable product. The new dataset and system source code are available for research purposes at https://github.com/scoopmatic/finnish-hockey-news-generation-paper.

연구 동기 및 목표

• 신경 시퀀스-투-시퀀스 모델을 사용하여 핀란드어 스포츠 저널리즘을 위한 템플릿 기반, 엔드 투 엔드 데이터-투-텍스트 생성 시스템을 개발한다.
• 실제 기사 데이터에 포함된 비통계적 인사이트, 배경 지식, 해석적 언어를 고려하여 수작업으로 정렬된 이벤트 기반 핀란드어 아이스하키 뉴스 코퍼스를 구축함으로써 데이터-투-텍스트 생성에서 사실성 환각 현상을 해결한다.
• 신경 생성 모델이 전문 수준에 가까운 텍스트를 생성할 수 있는지 평가한다. 이는 기계 생성 뉴스로 직접 사용하거나 수정 후 초안으로 활용 가능한지를 뜻한다.
• 비통계적 요소를 포함한 실제 저널리즘 콘텐츠를 기반으로 엔드 투 엔드 모델을 훈련시키는 것이 가능한지 탐색한다.

제안 방법

• 1994–2018년 기간 동안의 공식 아이스하키 경기 통계와 STT 뉴스 기사 간의 정렬을 통해 총 3,454경기 분량의 핀란드어 아이스하키 뉴스 코퍼스를 구축하였다.
• 특정 경기 이벤트(예: 골, 페널티 등)와 뉴스 기사 내 텍스트 조각을 수작업으로 정렬하여 사실성 환각이 없는 훈련 데이터셋을 생성하였다.
• 정렬된 데이터셋을 기반으로 시퀀스-투-시퀀스 신경망 모델을 훈련시켜 입력 통계 데이터로부터 전체 경기 보도자료를 생성하도록 하였다.
• 두 명의 STT 기자에게 인간 평가를 실시하여 출력물의 수정 준비성과 직접 게재 준비성 여부를 평가하였다.
• 생성된 텍스트와 기자가 수정한 버전 간의 편집 거리를 수치화하기 위해 단어 오류율(WER)을 사용하였으며, 문장 부호 포함 여부에 따라 각각 측정하였다.
• 다중 이벤트 문장 생성의 한계를 탐색하고, 데이터 증강 및 서어 단위(sub-word units)를 통한未래 개선 방안을 고려하였다.

실험 결과

연구 질문

• RQ1 실제 저널리즘 콘텐츠에 비통계적 요소가 포함된 경우, 템플릿 기반 아님 엔드 투 엔드 신경망 모델이 사실적으로 정확하고 언어적으로 유창한 핀란드어 스포츠 뉴스를 생성할 수 있는가?
• RQ2 원시 뉴스 데이터를 사용하는 것에 비해, 뉴스 기사와 경기 이벤트를 수작업으로 정렬함으로써 데이터-투-텍스트 생성에서 사실성 환각 현상이 얼마나 감소하는가?
• RQ3 생성된 텍스트는 실제 뉴스 제작 환경에서 얼마나 유용한가, 특히 기계 생성 뉴스 파이프라인에서의 활용 가능성을 뜻한다.
• RQ4 생성된 핀란드어 스포츠 보도자료에서 주요 오류 유형은 무엇이며, 이를 데이터나 모델 개선을 통해 체계적으로 해결할 수 있는가?
• RQ5 엔드 투 엔드 모델이 단일 스텝 내에서 일관되고 다중 이벤트 요약을 생성할 수 있는가, 아니면 품질을 확보하기 위해 여전히 이벤트 단위로 생성이 필요한가?

주요 결과

• 기자 수정 초안과 비교했을 때, 모델은 문법적으로 유창한 텍스트를 생성하였으며, 단어 오류율(WER)은 9.9% (문장 부호 제외 시 11.2%)를 기록하였다.
• 최종 게재용 버전과 비교했을 때 WER는 22.0% (문장 부호 제외 시 24.4%)로 상승하였으며, 이는 출력물의 75–90%가 주요 수정 없이 사용 가능함을 시사한다.
• 사실 오류의 주요 원인은 잘못된 이름 복사, 이벤트 유형 오분류, 부정확한 시간 참조였으며, 향후 보완의 핵심 대상이 될 것으로 보인다.
• 뉴스 기사와 경기 이벤트를 수작업으로 정렬함으로써 환각 현상이 크게 감소하였으며, 이는 실제 저널리즘 데이터 기반 신뢰할 수 있는 엔드 투 엔드 시스템 훈련에 필수적임을 입증하였다.
• 이벤트 단위로 생성하는 방식은 자연스럽지 못한 반복과 문장 수준의 유창성 저하를 야기하였으며, 향후 다중 이벤트 또는 문서 수준의 생성 기술 개발이 필요함을 시사한다.
• 데이터셋, 모델 코드, 원본 코퍼스는 향후 저자원, 비영어 데이터-투-텍스트 생성 연구를 지원하기 위해 공개되어 있다.