[논문 리뷰] AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization

Keping Bi, Rahul Jha외 2명|arXiv (Cornell University)|2020. 04. 13.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 추출적 요약을 위한 이중 단계, 적응형 중복 인식 반복 문장 순위 매기기 모델인 ARedSum-Ctx를 제안한다. 이 모델은 먼저 문장의 중요도를 평가하고, 이후 표면적 특징(예: n-gram 겹침, 의미 일치 점수 등)을 사용하여 중요도와 중복을 균형 잡는 방식으로 작동한다. CNN/DailyMail 및 NYT50에서 양방향 모델링(ARedSum-Seq)과 히우리스틱 기반 중복 제거(예: Trigram Blocking)를 뛰어넘으며, ROUGE 점수를 개선하고 중복을 감소시켜 최신 기술 수준의 성능을 달성한다. 이는 명시적이고 별도의 중복 모델링 방식이 통합 최적화보다 더 높은 요약 품질을 제공한다는 것을 보여준다.

ABSTRACT

Redundancy-aware extractive summarization systems score the redundancy of the sentences to be included in a summary either jointly with their salience information or separately as an additional sentence scoring step. Previous work shows the efficacy of jointly scoring and selecting sentences with neural sequence generation models. It is, however, not well-understood if the gain is due to better encoding techniques or better redundancy reduction approaches. Similarly, the contribution of salience versus diversity components on the created summary is not studied well. Building on the state-of-the-art encoding methods for summarization, we present two adaptive learning models: AREDSUM-SEQ that jointly considers salience and novelty during sentence selection; and a two-step AREDSUM-CTX that scores salience first, then learns to balance salience and redundancy, enabling the measurement of the impact of each aspect. Empirical results on CNN/DailyMail and NYT50 datasets show that by modeling diversity explicitly in a separate step, AREDSUM-CTX achieves significantly better performance than AREDSUM-SEQ as well as state-of-the-art extractive summarization baselines.

연구 동기 및 목표

• 통합 중요도-중복 모델링에서 성능 향상이 더 나은 인코딩에 기인하는지 여부를 조사하기 위해
• 반복 문장 선택 과정에서 중요도와 중복 점수를 분리하여 평가하는 것과 통합 최적화를 비교하기 위해
• 개선된 요약 품질을 위해 중요도와 중복을 명시적으로 균형 잡는 이중 단계, 적응형 학습 모델을 설계하고 검증하기 위해
• 히우리스틱 기반 중복 제거(예: Trigram Blocking)와 비교해 학습된 적응형 중복 모델링의 효과를 평가하기 위해

제안 방법

• ARedSum-Seq는 트랜스포머 기반 조건부 문장 순서 생성기를 사용하여 중요도와 이전에 선택된 문장들에 비해 새로운 정보의 정도를 동시에 평가하고 문장을 선택한다.
• ARedSum-Ctx는 이중 단계 접근 방식을 사용한다. 첫 번째 단계에서는 BERT 기반 인코더를 사용해 중요도를 평가하고, 두 번째 단계에서는 표면 수준의 특징(예: n-gram 겹침 비율, 의미 일치 점수 등)을 사용해 중요도와 중복을 균형 잡는 별도의 모델이 학습된다.
• ARedSum-Ctx의 중복 구성 요소는 이전에 선택된 문장들을 기반으로 ROUGE 점수 향상을 최적화하는 쌍별 순위 매기기 목표를 통해 학습되며, 이는 중요도는 높지만 중복인 내용을 적응적으로 필터링할 수 있게 한다.
• 모델들은 CNN/DailyMail 및 NYT50에서 골드 요약의 지도 신호를 사용해 엔드 투 엔드로 훈련되며, 반복적 선택 과정이 탐색 기반의 추론 과정을 모방한다.
• ARedSum-Ctx의 두 번째 단계에서는 트리그램 겹침 비율과 BERT 기반 의미 유사도와 같은 표면 특징을 사용해 중복을 정량화한다.
• 강력한 기준 모델들(예: Trigram Blocking 유무를 고려한 BertSumExt, 기타 최신 기술 수준의 추출적 모델)과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 중요도와 중복을 단일 문장 생성 모델에서 통합 최적화하는 것보다 별도 단계에서 명시적으로 중복을 모델링하는 것이 더 높은 요약 성능을 제공하는가?
• RQ2 학습된 중복 모델(ARedSum-Ctx)의 성능이 히우리스틱 기반 중복 제거(예: Trigram Blocking)와 비교해 ROUGE 점수와 정밀도 측면에서 어떻게 다른가?
• RQ3 중요도와 중복 점수를 분리함으로써 추출적 요약에서 정보성과 중복성 간의 균형이 얼마나 향상되는가?
• RQ4 중요도와 중복을 적응적으로 균형 잡는 이중 단계 모델이 통합 모델보다 다양한 문서에서 일반화 능력을 향상시키는가?
• RQ5 자동 평가 및 인간 평가로 측정했을 때, 요약 품질을 결정하는 데 있어 중요도와 중복 감소의 상대 기여도는 어느 정도인가?

주요 결과

• ARedSum-Ctx는 CNN/DailyMail 및 NYT50에서 모두 최신 기술 수준의 성능을 달성하여, ROUGE-1, ROUGE-2, ROUGE-L 점수에서 ARedSum-Seq 및 모든 강력한 기준 모델을 능가한다.
• CNN/DailyMail에서 ARedSum-Ctx는 ROUGE-L 점수 43.8을 기록했으며, BertSumExt + TriBlk(42.5) 및 ARedSum-Seq(42.1)보다 유의미하게 높았고, 인간 평가에서 p-value < 0.0001이었다.
• 인간 평가 결과, ARedSum-Ctx는 전반적인 품질(기준 모델 대비 p < 0.03)과 중복성(기준 모델 대비 p < 0.03)에서 유의미하게 높은 순위를 기록하여 중복 제어 능력이 뛰어나다는 것을 확인했다.
• ARedSum-Ctx는 중복을 감소시키면서도 높은 정밀도(P@1 = 0.58, P@2 = 0.62, P@3 = 0.64)를 유지하지만, Trigram Blocking은 ROUGE 점수 향상은 이루어지지만 정밀도에 악영향을 미친다.
• 위치 분석 결과, ARedSum-Ctx는 문서의 다양한 위치에 걸쳐 문장을 균형 있게 선택하는 반면, ARedSum-Seq는 첫 번째 세 문장에 집중하는 경향을 보였다.
• NYT50에서 ARedSum-Ctx는 중복성 평균 순위 1.00을 기록했으며(비교 기준 모델인 BertSumExt는 1.60), p-value < 0.0001이었고, 이는 중복 콘텐츠 감소 능력이 뛰어나다는 것을 확인했다.