[논문 리뷰] Open Domain Multi-document Summarization: A Comprehensive Study of Model Brittleness under Retrieval

John Giorgi, Luca Soldaini외 5명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 개방형 다중 문서 요약(MDS)을 조사하며, 요약 생성자가 골드 표준 문서 세트가 아닌 검색된 문서에서 요약을 생성해야 하는 상황을 다룬다. 최신 요약 생성 모델들이 검색 결과가 완벽하지 않을 경우 성능 저하를 겪는 것으로 밝혀졌으며, 특히 관련 없는 문서가 포함될 경우 심각한 성능 저하가 발생한다. 그러나 개방형 데이터로의 피지컬 튜닝을 통해 성능 저하가 완화됨을 확인하였다. 본 연구는 실세계의 MDS 응용 프로그램에서 검색 길이와 오류 내성에 대한 실용적인 지침을 제공한다.

ABSTRACT

Multi-document summarization (MDS) assumes a set of topic-related documents are provided as input. In practice, this document set is not always available; it would need to be retrieved given an information need, i.e. a question or topic statement, a setting we dub "open-domain" MDS. We study this more challenging setting by formalizing the task and bootstrapping it using existing datasets, retrievers and summarizers. Via extensive automatic and human evaluation, we determine: (1) state-of-the-art summarizers suffer large reductions in performance when applied to open-domain MDS, (2) additional training in the open-domain setting can reduce this sensitivity to imperfect retrieval, and (3) summarizers are insensitive to the retrieval of duplicate documents and the order of retrieved documents, but highly sensitive to other errors, like the retrieval of irrelevant documents. Based on our results, we provide practical guidelines to enable future work on open-domain MDS, e.g. how to choose the number of retrieved documents to summarize. Our results suggest that new retrieval and summarization methods and annotated resources for training and evaluation are necessary for further progress in the open-domain setting.

연구 동기 및 목표

• 검색이 요약 이전에 필요하는 개방형 다중 문서 요약(MDS)을 정형화하고 연구하기 위해.
• 골드 표준 문서 세트가 아닌 검색된 문서 세트에 적용했을 때 최신 요약 생성 모델의 성능 저하를 평가하기 위해.
• 다양한 유형의 검색 오류 중 요약 품질에 가장 심각한 영향을 미치는 유형을 규명하기 위해.
• 개방형 데이터로 요약 생성 모델을 피지컬 튜닝하면 검색 오류에 대한 민감도가 감소하는지 평가하기 위해.
• 미래의 연구 및 개방형 MDS 구현을 위한 실용적이고 데이터 기반의 지침을 제공하기 위해.

제안 방법

• 질의어와 대규모 문서 색인을 사용하여 검색-요약 파이프라인으로서 개방형 MDS를 정형화하였다.
• 기존 데이터셋(예: Multi-News, Cochrane, WCEP-10), 사전 학습된 검색기(예: BM25, DPR), 요약 생성 모델(예: PEGASUS, PRIMERA, LSG-BART)을 활용하여 작업을 부트스트랩하였다.
• 검색 오류를 시뮬레이션하기 위해 입력 문서 세트에 제어된 편집을 적용하였으며, 예를 들어 무작위 교체, 삭제, 중복, 역번역 등을 포함하였다.
• 자동 평가(ROUGE, BERTScore)와 커버리지 및 정보량 지표를 사용한 인간 평가를 실시하였다.
• 검색 노이즈 상황에서의 내성 향상을 평가하기 위해 개방형 데이터로 요약 생성 모델을 피지컬 튜닝하였다.
• 이항 검정과 인터-평가자 간 일致도(kappa > 0.21)를 사용하여 인간 평가 결과의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 최신 요약 생성 모델의 성능은 골드 표준 문서 세트가 아닌 검색된 문서 세트에 적용되었을 때 어떻게 저하되는가?
• RQ2 예를 들어 관련 없는 문서, 중복 문서, 순서 변경 등 다양한 유형의 검색 오류 중 어느 것이 요약 품질에 가장 심각한 영향을 미치는가?
• RQ3 개방형 데이터로 요약 생성 모델을 피지컬 튜닝하면 검색 오류에 대한 민감도가 감소하는가?
• RQ4 검색된 문서 수가 요약 품질과 내성에 어떤 영향을 미치는가?
• RQ5 요약 생성 모델은 문서 순서나 중복에 민감한가, 아니면 주로 관련성이 없는 문서로 인해 실패하는가?

주요 결과

• 최신 요약 생성 모델들은 개방형 MDS에서 심각한 성능 저하를 겪으며, 불완전한 검색 조건에서 평균 ROUGE-F1이 최대 20% 감소한다.
• 요약 생성 모델은 관련 없는 문서가 포함될 경우 가장 심각한 성능 저하를 경험한다.
• 요약 생성 모델은 문서 중복이나 순서 변경에 대해 낮은 민감도를 보이며, 이러한 오류 유형에 대해 우수한 내성을 가짐을 시사한다.
• 개방형 데이터로 요약 생성 모델을 피지컬 튜닝하면 검색 오류에 대한 민감도가 크게 감소하여 내성이 향상된다.
• 인간 평가 결과는 골드 표준 입력이 검색된 입력보다 통계적으로 유의미하게 선호되며, 보통 수준의 평가자 간 일致도(kappa > 0.21)를 확보하였다.
• 본 연구는 약 60–80%의 검색된 문서가 관련성이 있어야만 합리적인 요약 품질을 유지할 수 있음을 규명하였으며, 이는 최적의 검색 길이가 매우 중요함을 시사한다.