[논문 리뷰] A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion

Logan Lebanoff, Franck Dernoncourt외 3명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 31인용 수 7

한 줄 요약

이 논문은 신경망 기반 개괄 요약을 위한 캐스케이드 아키텍처를 제안하며, 내용 선택과 텍스트 생성을 분리하여 이중 단계 프로세스를 사용한다: 먼저 분류 및 시퀀스 태깅을 통해 주요 문장 조각을 선별하고 강조표시하고, 그 다음 이러한 강조표시를 바탕으로 요약을 생성한다. 이 방법은 종단간 모델과 비교하여 유사하거나 뛰어난 ROUGE 점수를 달성하며, 세분화된 강조표시와 융합을 통해 내용 선택과 통일성에 대한 제어력을 향상시킨다.

ABSTRACT

We present an empirical study in favor of a cascade architecture to neural text summarization. Summarization practices vary widely but few other than news summarization can provide a sufficient amount of training data enough to meet the requirement of end-to-end neural abstractive systems which perform content selection and surface realization jointly to generate abstracts. Such systems also pose a challenge to summarization evaluation, as they force content selection to be evaluated along with text generation, yet evaluation of the latter remains an unsolved problem. In this paper, we present empirical results showing that the performance of a cascaded pipeline that separately identifies important content pieces and stitches them together into a coherent text is comparable to or outranks that of end-to-end systems, whereas a pipeline architecture allows for flexible content selection. We finally discuss how we can take advantage of a cascaded pipeline in neural text summarization and shed light on important directions for future research.

연구 동기 및 목표

• 캐스케이드드 파이프라인 아키텍처가 종단간 신경망 기반 요약 모델과 비교하여 경쟁력 있거나 뛰어난 요약 성능을 달성할 수 있는지 조사하는 것.
• 요약의 표면적 표현에서 내용 선택을 분리함으로써 도메인 특화된 내용 선택의 융통성 향상을 위한 것.
• 세분화된 내용 강조표시와 융합이 요약 품질과 통일성에 미치는 영향을 평가하는 것.
• 신경 생성기의 지도를 내릴 수 있는 최적의 강조표시 전략(임계값 설정, 비율 기반)을 탐색하는 것.
• 내용 선택과 생성을 분리함으로써 추상적 요약에 대해 더 해석 가능하고 평가 가능한 프레임워크를 제공하는 것.

제안 방법

• 모델는 굵은 흐름에서 세밀한 흐름으로의 내용 선택 전략을 사용하며, 먼저 분류 헤드를 통해 입력 문서에서 하나 또는 두 개의 주요 문장을 식별한다.
• 시퀀스 태깅 모델은 선택된 문장 내에서 중요한 세그먼트를 강조표시하며, 어간화된 유니그램과 일관성 향상을 위한 스무딩을 적용하여 순서 태깅 문제로 간주한다.
• 강조표시된 내용은 신경 텍스트 생성기의 입력으로 사용되어 요약 문장을 생성하며, 두 개의 문장이 선택된 경우 융합을 적용하여 통일성을 확보한다.
• 시스템은 동적 임계값 기반 강조표시 방법(0.15–0.20)을 사용하며, 모델 신뢰도에 따라 단어를 선택하여 고정 비율 방법보다 뛰어난 성능을 보인다.
• 융합 모듈은 강조표시된 세그먼트를 재정렬하고 통합하여 문법적으로 올바르고 의미 있는 요약 문장을 생성한다.
• 하이퍼파라미터, 특히 손실 가중치(λ = 0.2)와 강조표시 임계값은 검증 세트에서 튜닝된다.

실험 결과

연구 질문

• RQ1 캐스케이드드 파이프라인 아키텍처가 종단간 신경망 기반 요약 모델과 비교하여 유사하거나 뛰어난 요약 성능을 달성할 수 있는가?
• RQ2 명시적이고 세분화된 내용 강조표시가 생성된 요약의 품질과 통일성에 어떤 영향을 미치는가?
• RQ3 내용 선택 단계에서 강조표시할 텍스트의 양을 결정하는 데 최적의 전략은 무엇인가?
• RQ4 내용 선택과 표면적 표현을 분리함으로써 추상적 요약의 해석 가능성과 융통성은 어떻게 향상되는가?
• RQ5 정답 문장 선택과 강조표시가 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• 특히 Cascade-Tag(융합 미사용) 모델은 BERT-Abs를 포함한 종단간 추상적 기준 모델과 유사하거나 뛰어난 ROUGE 점수를 달성한다.
• 정답 문장 선택이 제공된 경우, 캐스케이드 모델은 모든 메트릭에서 약 10점의 ROUGE 점수 향상을 기록한다.
• 추가로 정답 강조표시가 사용된 경우, ROUGE 점수는 추가로 20점 향상되어 내용 선택 정확도의 잠재력이 높다는 것을 시사한다.
• 강조표시에 확률 임계값 설정(임계값 0.15–0.20)이 고정 비율 방법보다 뛰어나며, 평균적으로 문장당 58–78%의 단어를 강조표시한다.
• 학습 데이터 중앙값(31%)보다 높은 강조표시 비율이 더 나은 성능을 보이며, 이는 과다 강조표시가 모델 일반화에 유리할 수 있음을 시사한다.
• 융합 모듈은 ROUGE 점수에 중간 정도의 영향을 미치지만, 문법성과 통일성 향상에 기여함으로써 문장 수준의 통일성 확보에 기여한다.