[논문 리뷰] iFacetSum: Coreference-based Interactive Faceted Summarization for Multi-Document Exploration

Eran Hirsch, Alon Eirew외 8명|arXiv (Cornell University)|2021. 09. 23.

Natural Language Processing Techniques참고 문헌 42인용 수 9

한 줄 요약

iFacetSum는 다중 문서 탐색을 위한 상호작용적이고 편면 기반 요약 시스템을 제안한다. 핵심은 핵심 참조 기반의 편면 추출과 개괄적 요약을 결합한 것이다. 핵심 참조 해소를 통해 문서 간 개념, 실체, 진술의 언급을 군집화함으로써 사용자가 동적이고 맥락 인식 요약을 통해 주제를 탐색할 수 있도록 한다. 사용성 연구에서 높은 사실성(93.3%)과 사용자 인식 품질을 달성하였다.

ABSTRACT

We introduce iFacetSum, a web application for exploring topical document sets. iFacetSum integrates interactive summarization together with faceted search, by providing a novel faceted navigation scheme that yields abstractive summaries for the user's selections. This approach offers both a comprehensive overview as well as concise details regarding subtopics of choice. Fine-grained facets are automatically produced based on cross-document coreference pipelines, rendering generic concepts, entities and statements surfacing in the source texts. We analyze the effectiveness of our application through small-scale user studies, which suggest the usefulness of our approach.

연구 동기 및 목표

• 사전 지식이나 안내 없이 복잡하고 방대한 문서 집합을 탐색하는 데 도전하는 데 목적을 둔다.
• 기존 요약 및 검색의 한계를 극복하여 높은 수준의 개요와 하위 주제에 대한 깊이 있는 접근을 동시에 제공한다.
• 편면 탐색을 개괄적 요약과 통합하여 지도적이고 맥락을 유지하는 탐색을 지원한다.
• 문서 간 핵심 참조를 기반으로 자동으로 파생된 의미적으로 일관된 편면 클러스터를 바탕으로 사용자가 하위 주제를 탐색할 수 있도록 한다.

제안 방법

• 핵심 참조 해소를 통해 문서 간 개념, 실체, 진술의 언급을 세분화된 편면으로 자동으로 추출한다.
• 핵심 참조 및 진술 정렬 파이프라인을 사용해 문서 간 의미적 동일성 기반으로 편면 값들을 군집화한다.
• 선택된 편면 값 언급을 포함하는 문장을 기반으로 신경망 기반 요약 모델을 사용해 개괄적 요약을 생성한다.
• 사용자 선택에 반응해 편면을 계층적으로 동적으로 업데이트함으로써 하위 주제를 원활하게 탐색할 수 있도록 한다.
• 웹 애플리케이션을 구현하여 상호작용 기능을 제공한다: 원문 문장 보기, 전체 문서 접근, 탐색 이력 추적.
• 요약은 개괄적이지만 사실에 기반한 하이브리드 접근 방식을 사용하며, 사실성은 소스 텍스트 증거로 검증한다.

실험 결과

연구 질문

• RQ1 핵심 참조 기반의 편면 추출이 다중 문서 탐색에서 종합적이고 고수준의 주제 개요를 효과적으로 지원할 수 있는가?
• RQ2 상호작용적이고 편면 기반의 개괄적 요약은 전통적 요약이나 검색과 비교해 사용자 탐색 및 지식 습득을 얼마나 효과적으로 지원하는가?
• RQ3 동적으로 업데이트되는 편면과 맥락 인식 요약은 사용자 이해도 및 탐색 효율성을 얼마나 향상시키는가?
• RQ4 핵심 참조 클러스터링된 언급에서 생성된 개괄적 요약의 사실적 신뢰성은 어느 정도인가?
• RQ5 사용자들은 실제 탐색 작업에서 이 시스템의 사용성과 유용성에 대해 어떻게 평가하는가?

주요 결과

• 30개의 요약 문장 샘플에 대해 시스템은 사실성 점수 93.3%를 기록하여 소스 텍스트 증거와 강한 일치를 보였다.
• 사용자 연구 결과, 시스템은 맥락을 유지하면서도 하위 주제의 효과적인 탐색과 깊이 있는 탐색을 지원하는 것으로 나타났다.
• 개괄적 요약은 문법성(4.20/5), 중복 회피성(4.58/5), 참조 명확성(4.10/5)에서 높은 평가를 받았으며, 뛰어난 품질을 나타냈다.
• 이전에 본 문장을_PURPLE_로 강조함으로써 사용자의 인지 부담을 줄여 중복 독서를 방지했다.
• 핵심 참조 클러스터에서 성공적으로 편면 값이 유도되어, '아메리칸 인디언의 과제' 주제에 대한 25개 문서 간 의미적으로 일관되고 유의미한 탐색이 가능했다.
• 탐색 이력 추적 및 문서 수준의 문장 보기 기능 통합으로 사용자 통제력과 투명성이 탐색 과정에서 향상되었다.