[논문 리뷰] Challenges in Data-to-Document Generation

Sam Wiseman, Stuart M. Shieber외 1명|arXiv (Cornell University)|2017. 07. 25.

Topic Modeling참고 문헌 32인용 수 53

한 줄 요약

논문은 데이터-문서 생성을 위한 대규모 NBA 박스 스코어 데이터셋을 소개하고, 추출적 평가 지표를 제안하며, 신경망 및 템플릿 기반 베이스라인을 벤치마크합니다. 신경망 모델은 내용 선택 및 장기 구조 측면에서 템플릿에 비해 어려움을 겪습니다.

ABSTRACT

Recent neural models have shown significant progress on the problem of generating short descriptive texts conditioned on a small number of database records. In this work, we suggest a slightly more difficult data-to-text generation task, and investigate how effective current approaches are on this task. In particular, we introduce a new, large-scale corpus of data records paired with descriptive documents, propose a series of extractive evaluation methods for analyzing performance, and obtain baseline results using current neural generation methods. Experiments show that these models produce fluent text, but fail to convincingly approximate human-generated documents. Moreover, even templated baselines exceed the performance of these neural models on some metrics, though copy- and reconstruction-based extensions lead to noticeable improvements.

연구 동기 및 목표

• 구조화된 데이터에 대한 충실도를 강조하는 더 길고 문서 규모의 데이터-텍스트 작업을 제시한다.
• 농구 경기 기록과 설명 문서를 매칭하는 공개적으로 이용 가능한 데이터셋을 제공한다.
• 콘텐츠 선택, 생성, 순서를 평가하기 위한 자동 추출 평가 지표를 제안한다.
• 장문 데이터-문서 생성을 위한 성능 벤치마크를 확립하기 위해 기본 신경망 및 템플릿 기반 생성 방법을 제시한다.

제안 방법

• 두 소스(RotoWire 및 SBNation)에서 수집한 설명형 게임 리포트와 매칭된 농구 경기 박스 스코어의 대규모 데이터셋을 구성한다.
• 각 데이터 레코드를 타입(type), 엔티티(entity), 값(value)의 임베딩으로 표현하고 이를 어텐션 기반 인코더-디코더 모델에 입력한다.
• 생성 중 데이터 레코드의 값들을 직접 복사할 수 있도록 복사 메커니즘을 도입한다.
• 입력 데이터를 커버하도록 디코더 표현을 유도하기 위해 재구성 기반 손실항을 도입한다.
• Relation extractor를 사용하여 Content Selection, Relation Generation, Content Ordering을 측정하는 추출적 평가 지표를 개발한다.
• 복사 및 재구성 여부에 따른 신경망 생성 방식과 템플릿 생성기를 비교한다.

실험 결과

연구 질문

• RQ1 박스 스코어 기록에 조건화된 충실하고 다문장으로 구성된 스포츠 요약을 데이터-문서 모델이 생성할 수 있는가?
• RQ2 콘텐츠 충실도와 전반적 유창성 면에서 신경망 생성 방법은 템플릿 기반 베이스라인과 어떻게 비교되는가?
• RQ3 추출적 평가 지표가 사실적 정확성과 콘텐츠 커버리지에 대한 인간 판단과 일치하는가?
• RQ4 복사와 재구성 손실이 콘텐츠 선택 및 장거리 담화에 어떤 영향을 미치는가?
• RQ5 데이터 주도형 문서 수준 생성을 위한 현재 신경망 접근의 한계는 무엇인가?

주요 결과

• 신경망 모델은 유창한 텍스트를 생성하지만 정확한 콘텐츠 선택과 장기 구조에 어려움을 겪는다.
• 복사 기반 및 재구성 강화 모델은 BLEU와 추출적 지표를 개선하지만 인간 수준의 산출물과는 여전히 멀다.
• 템플릿 기반 생성은 특정 지표에서 신경망 모델보다 우수할 수 있어 신경망 접근의 콘텐츠 선택 격차를 부각한다.
• 추출적 평가 프레임워크가 표준 자동 지표로 가려진 충실도 문제를 드러낸다.
• 조건부 복사 및 재구성 전략은 신경망 베이스라인 중 가장 가능성을 보이나 여전히 골 데이터에 뒤처진다.