[논문 리뷰] On (Commercial) Benefits of Automatic Text Summarization Systems in the News Domain: A Case of Media Monitoring and Media Response Analysis

Pashutan Modaresi, Philipp Gross외 3명|arXiv (Cornell University)|2017. 01. 03.

Topic Modeling참고 문헌 10인용 수 9

한 줄 요약

이 연구는 미디어 모니터링 및 응답 분석 워크플로우에서 간단한 쿼리 기반 추출적 텍스트 요약 시스템을 사용할 경우 발생하는 상업적 이점을 평가한다. 연구 결과, 자동으로 생성된 요약을 사용하는 미디어 분석가들은 요약 품질에 큰 영향을 주지 않은 채 약 58%의 처리 시간을 절약함을 입증하였으며, 이는 심지어 기본적인 요약 도구라도 실제 미디어 분 析 환경에서 효율성을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

In this work, we present the results of a systematic study to investigate the (commercial) benefits of automatic text summarization systems in a real world scenario. More specifically, we define a use case in the context of media monitoring and media response analysis and claim that even using a simple query-based extractive approach can dramatically save the processing time of the employees without significantly reducing the quality of their work.

연구 동기 및 목표

• 실제 미디어 모니터링 및 응답 분석 워크플로우에서 자동 텍스트 요약의 상업적 이점에 대해 조사한다.
• 자동 요약을 사용할 경우 분석가의 작업 처리 시간을 단축시킬 수 있는지, 품질 저하 없이 이루어지는지 평가한다.
• 완전한 기사와 자동으로 생성된 요약을 제공받은 분석가들이 생성한 요약의 성능과 품질을 비교한다.
• 실제 산업 적용 가능성이 있는 환경에서 요약 시스템이 워크플로우 효율성과 출력 품질에 미치는 영향을 평가한다.

제안 방법

• 두 그룹의 미디어 분석가를 대상으로 통제 실험을 실시하였으며, 그룹 A는 전체 뉴스 기사를, 그룹 B는 사전 정의된 쿼리 기반으로 자동 생성된 추출적 요약을 제공받았다.
• 요약은 쿼리와 관련된 핵심 문장을 각 기사에서 추출하는 쿼리 기반 추출적 접근 방식을 사용하여 생성되었다.
• 요약 품질 평가를 위해 분석가들이 완전성과 독해성 기준으로 수동 평가를 실시하였으며, 결과는 통계적 검증을 통해 분석되었다.
• 처리 시간은 박스플롯과 ANOVA를 사용하여 두 그룹 간 비교하였으며, 유의미한 차이가 있는지 검증하였다.
• 요약 품질의 유의미한 차이를 평가하기 위해 피어슨의 정확 검정(Fisher’s Exact Test)을 적용하였다.
• ROUGE와 수동 평가를 통해 요약 품질을 평가하였으며, 시간 절감률은 효율성 향상 비율로 계산되었다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 요약을 사용할 경우, 미디어 분석가가 요약을 작성하는 데 소요되는 시간이 유의미하게 감소하는가?
• RQ2 완전한 기사와 자동 요약을 사용할 경우 분석가가 생성한 요약의 품질에 통계적으로 유의미한 차이가 있는가?
• RQ3 분석가가 자동 요약에 의존할 경우 일관되게 높은 품질의 요약을 생성하는가, 아니면 품질이 크게 변동하는가?
• RQ4 간단한 쿼리 기반 추출적 요약 시스템이 실제 미디어 모니터링 워크플로우에서 측정 가능한 상업적 이점을 제공할 수 있는가?

주요 결과

• 완전한 기사(그룹 A)를 사용하는 분석가 대비 자동 요약을 사용하는 분석가(그룹 B)는 평균 58%의 처리 시간 단축을 기록하였다.
• ANOVA 검정 결과, 그룹 A와 그룹 B 간 처리 시간에 통계적으로 유의미한 차이가 있었으며, p-값은 2×10^−16 이하였다.
• 피어슨의 정확 검정 결과, 그룹 A와 그룹 B 간 요약 품질에 유의미한 차이가 없었으며, p-값은 0.4225로 자동 요약이 품질을 떨어뜨리지 않았음을 시사했다.
• 그룹 B의 분석가들이 생성한 요약의 품질은 개인 간에 유의미하게 차이가 났으며, 이는 자동 지원이 제공된 후에도 사용자 기반 요소가 여전히 출력에 영향을 미칠 수 있음을 보여준다.
• 완전한 기사로 작업할 경우 요약 품질에 유의미한 차이가 관찰되지 않아 개인 간 일관된 기준 수준의 성능을 유지함을 나타냈다.
• 결과적으로, 심지어 간단한 쿼리 기반 추출적 요약 시스템이라도 요약 품질을 손상시키지 않고도 상당한 시간 절감 효과를 낼 수 있음을 확인하였다.