[논문 리뷰] EASE: Extractive-Abstractive Summarization with Explanations

Haoran Li, Arash Einolghozati외 5명|arXiv (Cornell University)|2021. 05. 14.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

EASE는 정보 차단 원리에 기반해 추출기와 개선기 모듈를 동시에 학습하는 새로운 추출-요약 요약 프레임워크로, 근거 기반 설명을 제공하는 자연스럽고 해석 가능한 요약을 생성한다. 이는 BART와 같은 최신 개선 모델 수준의 요약 품질을 달성하면서도 기존 기준 모델보다 더 관련성이 높은 문장 수준의 설명을 제공한다.

ABSTRACT

Current abstractive summarization systems outperform their extractive counterparts, but their widespread adoption is inhibited by the inherent lack of interpretability. To achieve the best of both worlds, we propose EASE, an extractive-abstractive framework for evidence-based text generation and apply it to document summarization. We present an explainable summarization system based on the Information Bottleneck principle that is jointly trained for extraction and abstraction in an end-to-end fashion. Inspired by previous research that humans use a two-stage framework to summarize long documents (Jing and McKeown, 2000), our framework first extracts a pre-defined amount of evidence spans as explanations and then generates a summary using only the evidence. Using automatic and human evaluations, we show that explanations from our framework are more relevant than simple baselines, without substantially sacrificing the quality of the generated summary.

연구 동기 및 목표

• 요약 모델의 해석 가능성 부족으로 인해 실제 응용이 제한되는 문제를 해결하기 위해.
• 해석 가능성과 자연스러움의 장점을 결합하기 위해, 추출된 근거 문단에 기반한 요약 생성을 통해 추출 및 요약 방법의 장점을 융합하기 위해.
• 가짜 레이블이나 주의 기반 설명에 의존하지 않고, 이론적으로 탄탄한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 핵심 어휘를 재사용하고 근거 기반 생성을 통해 일관성을 유지함으로써, 생성된 요약이 원본 문서에 충실하도록 보장하기 위해.
• CNN/DailyMail 데이터셋에서 프레임워크를 평가하여, 완전히 개선 모델 수준의 성능을 유지하면서도 추적 가능한 설명을 제공함을 입증하기 위해.

제안 방법

• 프리트레인된 BART 모델을 백본으로 사용하며, 추출과 요약에 각각 별도의 인코더-디코더 헤드를 적용한다.
• 정보 차단 원리에 따라 정보 보존과 압축성의 균형을 이루도록, 희박성 예산을 기반으로 문장 수준의 근거 문단을 식별한다.
• 최종 요약은 오직 추출된 근거 문단만을 사용하여 생성되며, 이로 인해 모든 내용이 원본에 기반함을 보장한다.
• 완전한 엔드 투 엔드 학습을 위해, 요약 생성 손실과 IB 기반 정규화를 조합한 공동 손실 함수를 사용한다.
• 희박성 예산 하이퍼파rameter는 추출된 설명의 길이를 제어하여 설명 길이와 요약 품질 사이의 트레이드오프를 가능하게 한다.
• 자동 평가 지표(ROUGE)와 인간 평가를 통해 CNN/DailyMail에서 평가하며, 추출 모델, 개선 모델, 기준 추출-개선 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 통합적으로 학습된 추출-개선 모델이 완전히 개선 모델 수준의 요약 품질을 달성하면서도 해석 가능한 설명을 제공할 수 있는가?
• RQ2 정보 차단 원리가 주의 기반 또는 히우리스틱 기반 방법에 비해 추출된 근거 문단의 관련성과 통일성에 어떻게 기여하는가?
• RQ3 요약 생성에 오직 추출된 근거 문단만을 사용할 경우, 요약의 자연스러움과 사실 일관성에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 CNN/DailyMail와 같은 추출 모델 기반 데이터셋에서도 높은 성능을 유지하면서도 설명의 관련성과 간결성을 확보할 수 있는가?
• RQ5 희박성 예산 하이퍼파rameter는 설명 길이와 요약 품질 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• EASE는 CNN/DailyMail 데이터셋에서 완전히 개선 모델인 BART와 유사한 ROUGE 점수를 기록하여, 근거 기반 요약으로 인한 성능 저하가 최소화됨을 보여준다.
• 인간 평가 결과, EASE가 생성한 요약은 BART 수준의 사실 일관성에 근접해 있으며, 품질은 약간 낮아졌지만 해석 가능한 설명을 제공함을 입증한다.
• 인간 평가를 통해 기존 기준 모델(주의 기반 및 히우리스틱 기반 추출기 포함)보다 훨씬 더 관련성이 높은 설명을 추출함을 확인했다.
• 문장 수준의 추출 목표를 추가함으로써, 전반적인 ROUGE 점수 향상이 이루어졌으며, 특히 문장 수준 모델에 비해 더 큰 향상 효과를 보였다.
• IB 기반 손실을 통해 정보 압축과 관련성의 균형을 성공적으로 확보하여, 간결하면서도 정보가 풍부한 근거 문단을 생성함을 확인했다.
• 정보 차단 원리에 기반한 엔드 투 엔드 학습이 별도 학습 또는 가짜 레이블 기반 접근보다 더 나은 근거 선택을 가능하게 함을 입증했다.