[논문 리뷰] Source-side Prediction for Neural Headline Generation

Shun Kiyono, Sho Takase외 4명|arXiv (Cornell University)|2017. 12. 22.

Natural Language Processing Techniques참고 문헌 18인용 수 12

한 줄 요약

이 논문은 약어화된 요약 생성을 위한 소스 측 예측 모듈(SPM)을 제안하며, 정렬 데이터가 없이도 소스 및 타겟 어휘 분포를 함께 모델링하여 토큰 단위의 대응 관계를 학습한다. SPM은 중복, 누락 또는 관련 없는 어구를 줄여 시퀀스 생성 성능을 향상시키며, 정렬 데이터 없이도 최신 기술 수준의 모델을 능가하는 요약 생성 벤치마크에서 성능을 발휘한다.

ABSTRACT

The encoder-decoder model is widely used in natural language generation tasks. However, the model sometimes suffers from repeated redundant generation, misses important phrases, and includes irrelevant entities. Toward solving these problems we propose a novel source-side token prediction module. Our method jointly estimates the probability distributions over source and target vocabularies to capture a correspondence between source and target tokens. The experiments show that the proposed model outperforms the current state-of-the-art method in the headline generation task. Additionally, we show that our method has an ability to learn a reasonable token-wise correspondence without knowing any true alignments.

연구 동기 및 목표

• 요약 생성에서 중복, 누락 또는 관련 없는 어구와 같은 이상적인 생성 문제를 해결하기 위해.
• 소스 및 타겟 시퀀스 간의 토큰 단위 대응 관계를 모델링하여 신경망 요약 생성을 향상시키기 위해.
• 골드 표준 정렬 애너테이션을 요구하지 않고도 소스 및 타겟 토큰 간에 의미 있는 정렬을 학습하기 위해.
• 소스 및 타겟 어휘의 공동 확률 추정을 통해 인코더-디코더 프레임워크를 향상시키기 위해.
• 홀루시네이션과 반복을 줄이며 기존 최신 기술 수준의 모델을 능가하는 요약 생성 성능을 향상시키기 위해.

제안 방법

• SPM은 디코더 출력 레이어에 추가되어 각 디코딩 단계에서 소스 어휘에 대한 확률 분포를 예측한다.
• 이 모듈은 소스 및 타겟 어휘에 대한 확률 분포를 함께 추정하여 토큰 간의 대응 관계를 모델링한다.
• 손실 함수 ℓ_src 가 예측된 소스 토큰 확률의 합과 실제 소스 토큰 수를 비교하도록 최소화한다.
• SPM은 정확한 정렬 정보 없이도 어떤 소스 토큰이 관련이 있고 어떤 것은 기각되어야 할지를 학습할 수 있도록 한다.
• 표준 EncDec 모델에 주의 메커니즘을 통합하여 EncDec+SPM로 구성하고, 엔드 투 엔드로 훈련한다.
• 모델은 중요한 소스 토큰에 대해 높은 확률을 할당하고, 비중요하거나 중복적인 토큰에 대해 낮은 확률을 할당하도록 학습한다.

실험 결과

연구 질문

• RQ1 소스 측 예측 모듈은 요약 생성에서 중복, 누락 또는 관련 없는 어구를 줄일 수 있는가?
• RQ2 골드 표준 정렬 데이터 없이도 모델은 소스 및 타겟 시퀀스 간의 의미 있는 토큰 단위 정렬을 학습할 수 있는가?
• RQ3 제안된 방법은 최신 기술 수준의 모델과 비교해 자동 평가 및 인간 평가 지표를 향상시키는가?
• RQ4 SPM은 주의 메커니즘과 비교해 소스-타겟 대응 관계를 얼마나 잘 포착하는가?
• RQ5 SPM은 sGate나 빈도 추정과 같은 다른 모듈과 효과적으로 조합될 수 있는가?

주요 결과

• 제안된 EncDec+SPM 모델은 Gigaword 요약 생성 데이터셋에서 현재 최신 기술 수준의 방법을 능가한다.
• SPM은 반복 어구, 핵심 내용 누락, 관련 없는 토큰 등의 이상 생성 현상을 크게 줄였다.
• 시각화 결과 SPM은 표준 주의 메커니즘보다 더 이산적이고 정확한 토큰 단위의 대응 관계를 학습하는 것으로 나타났다.
• SPM은 'straight', 'tuesday'와 같은 비중요한 소스 토큰을 <pad> 토큰에 할당함으로써 성공적으로 식별하고 억제하였다.
• 진짜 정렬 정보 없이도 모델은 의미 있는 정렬을 학습할 수 있었으며, 이는 제로샷 정렬 능력을 보여준다.
• sGate와 같은 다른 모듈과의 조합에서도 성능 향상이 이루어져, SPM의 호환성과 일반화 능력을 입증하였다.