[논문 리뷰] Text Summarization using Abstract Meaning Representation

Shibhansh Dohare, Harish Karnick외 1명|arXiv (Cornell University)|2017. 06. 06.

Topic Modeling참고 문헌 16인용 수 44

한 줄 요약

이 논문은 추상적 의미 표현(AMR)을 사용한 개선된 종합적인 파ip라인을 제안한다. 입력 스토리는 먼저 AMR 그래프로 변환되며, 핵심 문장들로부터 요약에 관련된 다수의 부분 그래프가 추출된 후, 유창한 요약 문장을 생성한다. 이 방법은 단일 부분 그래프 추출 기반 기존 방법들을 능가하며, ROUGE와 같은 기존 평가 지표의 심각한 결함을 드러내어 AMR 기반 요약 분야에서 최고 성능을 기록한다.

ABSTRACT

With an ever increasing size of text present on the Internet, automatic summary generation remains an important problem for natural language understanding. In this work we explore a novel full-fledged pipeline for text summarization with an intermediate step of Abstract Meaning Representation (AMR). The pipeline proposed by us first generates an AMR graph of an input story, through which it extracts a summary graph and finally, generate summary sentences from this summary graph. Our proposed method achieves state-of-the-art results compared to the other text summarization routines based on AMR. We also point out some significant problems in the existing evaluation methods, which make them unsuitable for evaluating summary quality.

연구 동기 및 목표

• 추상적 의미 표현(AMR)을 사용한 종합적이고 종단 간(end-to-end) 요약 파이프라인을 개발하는 것.
• 핵심 문장들로부터 다수의 집중된 요약 그래프를 추출하는 방법을 제안하여 단일 부분 그래프 추출의 한계를 해결하는 것.
• 추상적 요약 평가에 적합하지 않은 기존 평가 지표(예: ROUGE)의 타당성을 도전하는 것.
• CNN-DailyMail와 같은 기존 데이터셋이 진정으로 추상적 요약을 지원하지 못하는 한계를 드러내는 것.
• 미래의 AMR 기반 추상적 요약 연구를 위한 강력한 베이스라인을 설정하는 것.

제안 방법

• 입력 스토리를 JAMR와 같은 AMR 파서를 사용해 AMR 그래프로 변환한다.
• 요약에 가장 중요한 정보를 담고 있는 핵심 문장들을 스토리에서 식별한다.
• 선택된 각 문장에서 전체 AMR 그래프로부터 부분 그래프를 추출하여 요약 관련 AMR 부분 그래프를 형성한다.
• 다수의 이러한 부분 그래프를 결합하여 스토리의 다양한 정보를 포괄하는 복합 요약 그래프를 형성한다.
• 최종 요약 그래프를 자연스럽고 흐름 잡힌 요약 문장으로 변환하기 위해 신경망 기반 AMR-to-텍스트 생성기 사용한다.
• 단일 부분 그래프에 의존하는 것을 피함으로써 스토리 전반에 흩어진 정보를 보다 잘 커버할 수 있다.

실험 결과

연구 질문

• RQ1 다단계 AMR 기반 파이프라인은 단일 부분 그래프 추출 대비 추상적 요약 성능을 향상시킬 수 있는가?
• RQ2 CNN-DailyMail 데이터셋에서 AMR 기반 요약의 성능은 Lead-3 및 SummaRunNer와 같은 추출 기반 기준 모델과 비교해 어떻게 되는가?
• RQ3 ROUGE와 같은 표준 평가 지표가 AMR를 통해 생성된 추상적 요약의 품질을 얼마나 정확히 반영하는가?
• RQ4 왜 CNN-DailyMail 데이터셋은 진정으로 추상적 요약 시스템을 평가하는 데 문제가 되는가?
• RQ5 유사한 문장을 군집화하고 그들의 병합된 AMR 표현에서 요약 그래프를 추출하면 요약 품질이 향상되는가?

주요 결과

• 제안된 방법은 AMR 기반 텍스트 요약 분야에서 최고 성능을 기록하며, 이전의 단일 부분 그래프 추출 방법들을 능가한다.
• Lead-3(비익명화된)에서 Lead-3-AMR로의 성능 저하가 뚜렷한데, 주로 AMR 파싱 및 생성 오류 때문이었다.
• ROUGE는 AMR를 통해 생성된 추상적 요약의 평가에 부적합하다는 것이 밝혀졌으며, 의미 재구성과 의미 유지 여부를 평가하지 못하기 때문이다.
• CNN-DailyMail 데이터셋은 대부분의 요약 내용이 첫 번째 몇 문장에 집중되어 있어 추상적 요약 능력을 제대로 평가할 수 없어 문제가 된다.
• 단일 문장이 아닌 다수의 문장에서 요약 그래프를 추출할 경우 정보 커버리지와 요약 품질이 향상됨을 입증했다.
• 미래의 추상적 요약 모델에 대한 공정한 평가를 가능하게 하기 위해, 더 균형 잡힌 핵심 정보 분포와 더 진정성 있는 추상적 요약을 포함한 새로운 데이터셋이 필요하다고 제안한다.