[논문 리뷰] Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation

Hardy, Andreas Vlachos|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling참고 문헌 14인용 수 14

한 줄 요약

이 논문은 원본 문서 정보를 활용하여 어순성 요약의 유창성과 사실 일致성을 향상시킴으로써 AMR 기반 요약을 개선하는 지도형 신경어휘 생성 접근법을 제안한다. 순차적-순차적 디코딩을 지도하는 확률적 언어 모델을 도입함으로써, 표준 AMR 파싱을 사용하여 ROUGE-2 점수를 10.5점 향상시키고, 강력한 베이스라인 순차적-순차적 모델보다 ROUGE-2 점수를 2점 더 높였다.

ABSTRACT

Recent work on abstractive summarization has made progress with neural encoder-decoder architectures. However, such models are often challenged due to their lack of explicit semantic modeling of the source document and its summary. In this paper, we extend previous work on abstractive summarization using Abstract Meaning Representation (AMR) with a neural language generation stage which we guide using the source document. We demonstrate that this guidance improves summarization results by 7.4 and 10.5 points in ROUGE-2 using gold standard AMR parses and parses obtained from an off-the-shelf parser respectively. We also find that the summarization performance using the latter is 2 ROUGE-2 points higher than that of a well-established neural encoder-decoder approach trained on a larger dataset. Code is available at \url{https://github.com/sheffieldnlp/AMR2Text-summ}

연구 동기 및 목표

• 신경 기반 개괄적 요약 모델에서 명시적인 의미 모델링의 부족, 특히 어간, 수, 문법적 특징 처리의 문제를 해결하기 위해.
• AMR 표현에서 누락된 원본 문서의 보조 정보를 통합하여 신경어휘 생성을 AMR 그래프에서 향상시키기 위해.
• 훈련 데이터의 규칙성에 의존하여 언어적 특징을 유추하는 것에서 벗어나, 이는 종종 문법 오류와 자연스럽지 않은 어휘 표현을 유도한다.
• 가이드되지 않은 AMR에서 텍스트로의 모델과 표준 순차적-순차적 베이스라인에 비해 더 높은 ROUGE 점수와 더 나은 유창성을 달성하기 위해.
• 자동으로 파arsed된 AMR 입력이 원본 문서 컨텍스트에 의해 지도될 경우, 골드 표준 AMR 파싱보다도 더 나은 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 두 단계 과정을 사용한다: 첫째, 원본 문서에서 보조 정보(예: 어간, 수)의 확률 분포를 확률적 언어 모델을 사용해 추정한다.
• 둘째, 생성된 출력과 일치하는 원본 문서의 n-gram을 보상함으로써 Luong 등(2015)의 주의 기반 순차적-순차적 모델의 디코딩을 지도한다.
• 점수 계산 메커니즘은 원본 n-gram과 후보 토큰 간의 유사도를 계산하고, 이를 바탕으로 디코더의 주의 및 출력 확률을 조정한다.
• AMR 그래프는 Van Noord 및 Bos(2017)의 사전 처리 방법을 사용해 선형화되며, 순차적-순차적 모델은 골드 및 자동 파arsed된 AMR 요약으로 훈련된다.
• 이 접근법은 AMR 데이터셋의 Proxy Report 섹션(LDC2017T10)에서 ROUGE 및 인간 평가를 통한 유창성 평가를 통해 평가된다.
• 원본 텍스트에서 직접 요약을 생성하기 위한 강력한 베이스라인으로 사전 훈련된 OpenNMT-py 모델을 사용한다.

실험 결과

연구 질문

• RQ1 원본 문서 정보로 AMR에서 텍스트로의 생성을 지도함으로써, 개괄적 요약의 유창성과 사실 일치성을 향상시킬 수 있는가?
• RQ2 원본 문서의 보조 정보를 사용함으로써, 언어 생성에서 문법적 특징을 추론하기 위해 데이터 기반 규칙성에 의존하는 것을 줄일 수 있는가?
• RQ3 간단한 확률적 언어 모델이 순차적-순차적 디코딩을 지도함으로써, 가이드되지 않은 AMR에서 텍스트로의 생성을 능가할 수 있는가?
• RQ4 왜 자동으로 파arsed된 AMR 입력이 때로 골드 표준 AMR 파싱보다 더 나은 요약 성능을 낼 수 있는가?
• RQ5 가이드된 방법이 강력한 신경 순차적-순차적 베이스라인에 비해 ROUGE 점수를 얼마나 향상시키는가?

주요 결과

• 골드 표준 AMR 파싱을 사용할 경우 가이드된 모델은 ROUGE-2 점수를 7.4점 향상시키고, RIGA로 파arsed된 AMR 입력을 사용할 경우 10.5점 향상시켰다.
• RIGA 파싱을 사용한 가이드된 모델은 ROUGE-2 점수 21.2를 기록했으며, 이는 강력한 OpenNMT-py 순차적-순차적 베이스라인보다 2점 높은 성능이다.
• 가이드된 모델은 6점 척도에서 유창성 점수를 2.16에서 2.66으로 향상시켜 더 나은 문법 정확성과 자연스러움을 보였다.
• 개선에도 불구하고 수동 평가에서 생성된 요약의 문법 오류와 반복적 반복 현상이 여전히 존재함을 확인했다.
• 놀랍게도, 가이드된 설정에서 RIGA로 파arsed된 AMR 입력이 골드 표준 파싱을 초월하는 성능을 보였다. 이는 수동 AMR 레이블링에서의 애매한 일관성 때문일 수 있다.
• 모델은 '소프트닝'을 '공격'으로 교체하는 등 중요한 오류를 수정함으로써 정확한 원본 수준의 용어를 검색하고 통합함으로써 오류를 수정했다.