[논문 리뷰] Toward Abstractive Summarization Using Semantic Representations

Fei Liu, Jeffrey Flanigan외 3명|arXiv (Cornell University)|2018. 05. 25.

Topic Modeling참고 문헌 41인용 수 56

한 줄 요약

이 논문은 다수의 입력 문장 AMR 그래프를 개념 통합, 문장 결합 및 선택적 그래프 전개를 통해 단일이고 압축된 요약 AMR 그래프로 변환함으로써 요약을 생성하는 새로운 개재적 요약 프레임워크를 제안한다. JAMR 파서를 사용한 테스트 데이터에서 ROUGE-1 F1 스코어는 57.8%를 기록하여 의미 표현을 활용한 그래프 기반의 개재적 요약의 가능성을 입증한다.

ABSTRACT

We present a novel abstractive summarization framework that draws on the recent development of a treebank for the Abstract Meaning Representation (AMR). In this framework, the source text is parsed to a set of AMR graphs, the graphs are transformed into a summary graph, and then text is generated from the summary graph. We focus on the graph-to-graph transformation that reduces the source semantic graph into a summary graph, making use of an existing AMR parser and assuming the eventual availability of an AMR-to-text generator. The framework is data-driven, trainable, and not specifically designed for a particular domain. Experiments on gold-standard AMR annotations and system parses show promising results. Code is available at: https://github.com/summarization

연구 동기 및 목표

• 의미 표현(예: AMR)을 활용하여 기존의 요약을 추출하지 않는 새로운 요약을 생성하는 프레임워크를 개발하기 위해.
• 추출 기반 방법이 부족한 장문이나 복잡한 텍스트에 대해 고품질의 개재적 요약을 생성하는 데 도전하기 위해.
• 요약의 核심 메커니즘으로서 AMR 표현의 그래프-투-그래프 변환의 실현 가능성을 탐색하기 위해.
• AMR 파싱 및 텍스트 생성과 별도로 그래프 요약 컴포넌트(단계 2)를 독립적으로 고립하고 평가하기 위해.
• AMR 파싱 오류와 그래프 전개가 요약 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 학습 및 평가를 위해 골드 표준 AMR 애너테이션을 사용하여 JAMR 파서를 통해 입력 문장을 AMR 그래프로 파싱한다.
• 문장 간 공호성 노드를 통합하고 모든 문장 루트를 더미 'ROOT' 노드에 연결함으로써 통합된 소스 그래프를 구성한다.
• 문장 수준에서 완전히 조밀한 그래프를 생성하기 위해 선택적 그래프 전개를 적용하여 더 풍부한 의미적 연결성을 확보한다.
• 선택된 핵심 노드와 간선을 소스 그래프에서 추출하여 요약 그래프를 형성하기 위해 구조적 예측 모델을 훈련하며, 허프, 퍼셉트론 또는 램프 손실 함수를 사용한다.
• JAMR에 의해 정렬된 단어 스트링을 사용하여 요약 그래프에서 요약 텍스트를 생성하고, 단어 집합 기반으로 ROUGE-1을 평가한다.
• 성능의 상한선을 설정하기 위해 참조 요약의 골드 표준 AMR 파서 기반 오라클 요약을 사용한다.

실험 결과

연구 질문

• RQ1 AMR 표현의 그래프-투-그래프 변환이 다수 문장의 의미를 단일 요약 그래프로 효과적으로 압축할 수 있는가?
• RQ2 골드 표준 AMR 파서를 사용할 때와 시스템에서 생성한 JAMR 파서를 사용할 때 그래프 요약 성능가 어떻게 달라지는가?
• RQ3 그래프 전개가 부분 그래프 예측 및 최종 요약 생성 품질에 어떤 영향을 미치는가?
• RQ4 다양한 손실 함수(Hinge, Perceptron, Ramp)가 구조적 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ5 JAMR의 파싱 오류가 전체 요약 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• JAMR 파서를 사용한 테스트 세트에서 프레임워크는 ROUGE-1 F1 스코어 57.8%를 기록하여 의미 기반 그래프를 활용한 개재적 요약의 강력한 잠재력을 보여준다.
• 골드 표준 AMR 파서 기반 오라클 요약은 ROUGE-1 F1 스코어 65.8%를 기록하여 더 나은 AMR 파싱을 통해 성능 향상을 이룰 수 있음을 시사한다.
• 그래프 전개로 오라클 성능은 약간 향상되며(램프 손실 시 71.2% F1), 하지만 시스템 성능는 약간 저하되어 모델 복잡성과의 상충 관계가 있음을 보여준다.
• 램프 손실 사용이 허프 및 퍼셉트론 손실보다 일관되게 우수하며, 특히 간선 예측에서 효과적임을 보여주어 이 작업의 구조적 예측에 램프 손실의 유용성을 입증한다.
• AMR 파싱 오류는 성능 저하의 주요 원인으로서 특히 간선 예측에 큰 영향을 미치지만, 개념 예측에는 영향이 더 적다.
• 파싱 오류가 존재하더라도, 그래프 전개를 적용한 결과 시스템은 개념 예측에서 ROUGE-1 F1 51.2%와 간선 예측에서 19.0%를 기록하여 노이즈에 대한 모델의 강건성을 보여준다.