[논문 리뷰] Headline Generation: Learning from Decomposed Document Titles.

Oleg Vasilyev, Tom Grek외 1명|arXiv (Cornell University)|2019. 04. 17.

Topic Modeling참고 문헌 14인용 수 9

한 줄 요약

이 논문은 150만 개의 문서-제목 쌍으로 훈련된 딥 네트워크를 사용하여 제목 생성을 순차적 질문-답변 작업으로 프레임하는 새로운 헤드라인 생성 방법을 제안한다. 인간 평가자들이 이중盲 평가에서 인간이 작성한 헤드라인과 동등하거나 그 이상으로 평가한 헤드라인을 생성하며, 자동 헤드라인 생성 분야에서 뛰어난 성능을 보여준다.

ABSTRACT

We propose a novel method for generating titles for unstructured text documents. We reframe the problem as a sequential question-answering task. A deep neural network is trained on document-title pairs with decomposable titles, meaning that the vocabulary of the title is a subset of the vocabulary of the document. To train the model we use a corpus of millions of publicly available document-title pairs: news articles and headlines. We present the results of a randomized double-blind trial in which subjects were unaware of which titles were human or machine-generated. When trained on approximately 1.5 million news articles, the model generates headlines that humans judge to be as good or better than the original human-written headlines in the majority of cases.

연구 동기 및 목표

• 헤드라인 생성을 순차적 질문-답변 작업으로 재정의하여 자동 헤드라인 생성 성능을 향상시키기.
• 대규모로 공개된 문서-제목 쌍을 활용하여 분해 가능한 어휘를 갖춘 데이터로 훈련을 수행하기.
• 인간 평가자들이 인간이 작성한 헤드라인과 동등하거나 더 낫다고 평가하는 헤드라인을 생성하는 모델 개발하기.
• 이중盲 인간 평가 설정에서 모델이 생성한 헤드라인을 평가하여 편향 없는 평가 확보하기.

제안 방법

• 모델는 문서의 문맥적 이해를 바탕으로 각 헤드라인의 단어를 예측하는 방식으로 헤드라인 생성을 순차적 질문-답변 작업으로 간주한다.
• 딥 네트워크는 제목의 어휘가 문서의 어휘에 포함되는 분해 가능한 제목을 갖는 수백만 개의 문서-제목 쌍으로 훈련된다.
• 훈련 코퍼스는 공개된 뉴스 기사와 그에 해당하는 헤드라인으로 구성되어 있어 대규모 사전 훈련이 가능하다.
• 모델는 주요 문서 내용과 헤드라인 생성 단계를 정렬하기 위해 어텐션 메커니즘을 사용한다.
• 아키텍처는 문서의 핵심 내용을 반영하는 유창하고 간결하며 정보가 풍부한 헤드라인 생성을 최적화한다.
• 평가에서는 인간 평가자가 출처를 알지 못한 채 랜덤화된 이중盲 시험을 통해 헤드라인 품질을 평가한다.

실험 결과

연구 질문

• RQ1 분해 가능한 문서-제목 쌍으로 훈련된 신경망이 인간이 작성한 헤드라인과 동등하거나 더 낫게 평가되는 헤드라인을 생성할 수 있는가?
• RQ2 순차적 질문-답변 프레임워크는 표준 시퀀스-투-시퀀스 모델 대비 헤드라인 생성 성능을 어떻게 향상시키는가?
• RQ3 분해 가능한 제목 감독만을 사용하여 다양한 뉴스 기사에 걸쳐 높은 품질의 헤드라인을 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 이중盲 인간 평가 설정에서 모델의 성능은 여전히 안정적인가?

주요 결과

• 대부분의 경우 인간 평가자들이 모델이 생성한 헤드라인을 인간이 작성한 헤드라인과 동등하거나 더 낫게 평가한다.
• 랜덤화된 이중盲 시험에서 인간 평가자들이 기계가 생성한 헤드라인과 인간이 작성한 헤드라인을 신뢰성 있게 구분하지 못했다.
• 약 150만 개의 뉴스 기사와 그에 해당하는 헤드라인으로 훈련한 모델는 뛰어난 성능을 달성한다.
• 분해 가능한 제목의 사용은 효과적인 감독을 가능하게 하며 훈련의 안정성과 일반화 능력을 향상시킨다.
• 순차적 질문-답변 접근 방식은 기준 모델 대비 더 일관되고 맥락에 부합하는 헤드라인 생성을 이끈다.
• 결과적으로 대규모 공개 데이터에 대한 엔드 투 엔드 훈련이 인간 수준의 성능을 가진 헤드라인 생성 시스템을 생성할 수 있음을 보여준다.