[논문 리뷰] Self-Attentive Model for Headline Generation

Daniil Gavrilov, Pavel Kalaidin외 1명|arXiv (Cornell University)|2019. 01. 23.

Topic Modeling참고 문헌 11인용 수 5

한 줄 요약

이 논문은 바이트-페어 인코딩(BPE)을 사용한 유니버설 트랜스포머 아키텍처 기반의 자기주의적 헤드라인 생성 모델을 제안하며, 뉴욕타임스 앤노테이티드 코퍼스에서 최고 성능을 기록(ROUGE-L F1: 24.84)하고 러시아어 헤드라인 생성을 위한 RIA 코퍼스를 도입하여 ROUGE-L F1: 36.81의 성능을 달성한다. 이 모델은 장거리 의존성을 포착하기 위해 비국소적 어텐션을 활용하여, 표준 RNN 기반 접근 방식을 뛰어넘는 개괄적 요약 생성 성능을 향상시킨다.

ABSTRACT

Headline generation is a special type of text summarization task. While the amount of available training data for this task is almost unlimited, it still remains challenging, as learning to generate headlines for news articles implies that the model has strong reasoning about natural language. To overcome this issue, we applied recent Universal Transformer architecture paired with byte-pair encoding technique and achieved new state-of-the-art results on the New York Times Annotated corpus with ROUGE-L F1-score 24.84 and ROUGE-2 F1-score 13.48. We also present the new RIA corpus and reach ROUGE-L F1-score 36.81 and ROUGE-2 F1-score 22.15 on it.

연구 동기 및 목표

• 유니버설 트랜스포머가 장거리 의존성을 모델링할 수 있는 능력을 활용하여, 개괄적 헤드라인 생성 성능을 향상시키기 위해.
• 뉴스 기사의 핵심 내용을 잘 반영하는 간결하고 정보적인 헤드라인을 생성하는 데 도전하기 위해.
• 다국어 기반 벤치마크를 가능하게 하기 위해 새로운 러시아어 헤드라인 코퍼스인 RIA 코퍼스를 도입하고 평가하기 위해.
• 비국소적 어텐션 메커니즘이 헤드라인 생성에서 국소적 RNN 기반 모델보다 우수한 성능을 보임을 입증하기 위해.
• 자동 평가 지표(ROUGE)와 인간 평가를 모두 활용하여 모델 성능을 평가하기 위해.

제안 방법

• 유니버설 트랜스포머 아키텍처를 채택하여, 은닉 표현에 대해 반복적 개선을 적용함으로써 장거리 의존성을 더 잘 모델링할 수 있도록 한다.
• 소스 및 타겟 시퀀스의 토크나이제이션에 바이트-페어 인코딩(BPE)을 사용하여, 서브워드 수준의 표현 학습을 향상시킨다.
• 일반화 성능 향상과 예측에 대한 과도한 확신 감소를 위해 학습 중 레이블 스무딩을 적용한다.
• 자기주의 어텐션 메커니즘을 활용한 인코더-디코더 프레임워크를 사용하여, 헤드라인 생성 중 입력 기사의 관련 부분에 주의를 기울인다.
• 그리디 및 빔서치 디코딩 전략을 사용하여 토큰 단위로 헤드라인을 생성하며, 빔서치가 더 높은 품질의 출력을 낳는다.
• 골드스탠다드 헤드라인의 가능도를 최대화하기 위해 최대우도추정(MLE)을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 표준 RNN 기반 모델과 비교해 유니버설 트랜스포머 아키텍처가 헤드라인 생성 성능 향상에 기여하는가?
• RQ2 비국소적 어텐션 메커니즘의 사용이 뉴스 기사의 장거리 의존성을 더 잘 포착하는가?
• RQ3 새로 도입된 러시아어 헤드라인 코퍼스(RIA)에서 모델의 성능은 기존 베이스라인과 비교해 어떻게 되는가?
• RQ4 레이블 스무딩이 개괄적 생성에서 일반화 및 헤드라인 품질 향상에 어느 정도 기여하는가?
• RQ5 인간 평가에서 모델의 출력은 인간이 작성한 헤드라인에 얼마나 가까운가?

주요 결과

• 제안된 유니버설 트랜스포머 모델은 뉴욕타임스 앤노테이티드 코퍼스에서 기존의 개괄적 모델들을 뛰어넘는 새로운 최고 성능을 기록하며, ROUGE-L F1 스코어 24.84를 달성한다.
• 새로 도입된 RIA 코퍼스에서는 ROUGE-L F1 스코어 36.81을 기록하여, 자원이 적고 비영어권 언어 환경에서도 뛰어난 성능을 보여준다.
• 인간 평가 결과, 뉴욕타임스 코퍼스에서 42.6%, RIA 코퍼스에서 45.6%의 경우에서 모델의 헤드라인이 인간이 작성한 헤드라인보다 선호되며, 강력한 인간 유사 품질을 보여준다.
• 모든 ROUGE 지표에서 두 데이터셋 모두에서 베이스라인 인코더-디코더 및 첫 문장 베이스라인을 모두 초월한다.
• 레이블 스무딩은 아블레이션 실험에서 약간 더 높은 F1 스코어를 통해 일반화 성능 향상을 입증한다.
• 강력한 자동 평가 스코어에도 불구하고, 일부 생성된 헤드라인은 인간 평가자들에 의해 의미적 일관성이 떨어지는 것으로 판단되어 의미 일관성 향상 여지가 있음을 시사한다.