[논문 리뷰] Multi-Document Summarization via Discriminative Summary Reranking

Xiaojun Wan, Ziqiang Cao외 3명|arXiv (Cornell University)|2015. 07. 08.

Topic Modeling참고 문헌 30인용 수 18

한 줄 요약

이 논문은 다중 문서 요약을 위한 판별적 재정렬 방법을 제안하며, 후보 요약을 ILP 프레임워크를 사용해 생성하고, Ranking SVM를 통해 질을 향상시킨다. 단어, 문장, 요약 수준의 다양한 특징을 활용함으로써 다양한 문서 세트에서 강력하고 고품질의 요약을 달성하며, DUC 벤치마크에서 개별 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Existing multi-document summarization systems usually rely on a specific summarization model (i.e., a summarization method with a specific parameter setting) to extract summaries for different document sets with different topics. However, according to our quantitative analysis, none of the existing summarization models can always produce high-quality summaries for different document sets, and even a summarization model with good overall performance may produce low-quality summaries for some document sets. On the contrary, a baseline summarization model may produce high-quality summaries for some document sets. Based on the above observations, we treat the summaries produced by different summarization models as candidate summaries, and then explore discriminative reranking techniques to identify high-quality summaries from the candidates for difference document sets. We propose to extract a set of candidate summaries for each document set based on an ILP framework, and then leverage Ranking SVM for summary reranking. Various useful features have been developed for the reranking process, including word-level features, sentence-level features and summary-level features. Evaluation results on the benchmark DUC datasets validate the efficacy and robustness of our proposed approach.

연구 동기 및 목표

• 기존 요약 모델이 다양한 문서 세트에서 일관성 없이 작동하는 데서 비롯되는 한계를 해결하기 위해.
• 다양한 요약 모델의 출력을 후보 요약으로 조합하여 요약 품질을 향상시키기 위해.
• 각 문서 세트에 대해 가장 고품질의 요약을 선택하는 강력한 재정렬 프레임워크를 개발하기 위해.
• 판별적 재정렬을 위한 특징 공학 기법을 탐색하기 위해, 단어 수준, 문장 수준, 요약 수준의 특징을 포함하여.

제안 방법

• 요약 품질을 최적화하기 위해 정수선형계획법(ILP) 프레임워크를 사용해 각 문서 세트에 대한 후보 요약을 생성한다.
• 학습된 관련성 점수를 기반으로 Ranking SVM를 적용해 후보 요약을 재정렬한다.
• 포괄적인 특징 세트를 설계한다: 단어 수준(예: 단어 빈도, 중요도), 문장 수준(예: 위치, 길이), 요약 수준(예: 커버리지, 다양성).
• annotation이 된 데이터를 기반으로 Ranking SVM 모델을 훈련하여 고품질 요약과 저품질 요약을 구분하는 재정렬 함수를 학습한다.
• 재정렬된 요약을 최종 출력으로 사용하여 주제 커버리지와 일관성을 확보한다.
• 표준 DUC 벤치마크 데이터셋을 사용해 프레임워크의 성능과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 단일 모델에 의존하는 것보다 여러 요약 모델의 출력을 조합하는 것이 요약 품질을 향상시키는가?
• RQ2 다양한 후보 출력 중에서 가장 좋은 요약을 선택하는 데 있어 판별적 재정렬의 효과는 어떠한가?
• RQ3 단어 수준, 문장 수준, 요약 수준의 특징 중에서 요약 품질을 가장 잘 예측하는 것은 무엇인가?
• RQ4 제안된 방법은 주제가 다양한 다양한 문서 세트에서도 높은 성능을 유지하는가?
• RQ5 재정렬 프레임워크는 알려지지 않은 문서 세트로도 잘 일반화되는가?

주요 결과

• 제안된 방법은 DUC 벤치마크 데이터셋에서 개별 요약 모델보다 요약 품질을 크게 향상시킨다.
• Ranking SVM를 활용한 판별적 재정렬은 다양한 문서 세트에서 강건한 성능을 보이며, 출력 품질의 변동성을 줄인다.
• 커버리지와 다양성과 같은 요약 수준의 특징을 포함함으로써 모델이 종합적이고 반복적이지 않은 요약을 선택하는 능력이 향상된다.
• 단어 빈도와 중요도와 같은 단어 수준의 특징은 중요한 내용을 식별하는 데 의미 있는 기여를 한다.
• ROUGE 점수에서의 일관된 향상은 기준 모델 대비 Recall 및 F1 성능 향상을 나타낸다.
• 특정 문서 세트에서 개별 모델이 저품질 요약을 생성하더라도 이 프레임워크는 효과적이며, 이는 그 강건성을 강조한다.