[논문 리뷰] Automatic text summarization: What has been done and what has to be done

Abdelkrime Aries, Djamel Eddine Zegour외 1명|arXiv (Cornell University)|2019. 04. 01.

Topic Modeling참고 문헌 105인용 수 18

한 줄 요약

이 논문은 자동 텍스트 요약(ATS)에 대한 종합적인 검토를 제공하며, 기존 방법을 입력 유형, 목적, 출력 형태로 분류하고, 평가 기준 부족, 자료 부족, 자연어 처리(NLP) 도구 부족과 같은 지속적인 과제를 밝히고 있다. 평가 프레임워크와 자원 가용성 향상을 통해 추출형 요약 및 개재형 요약 시스템의 발전을 이끌 필요성이 제기된다.

ABSTRACT

Summaries are important when it comes to process huge amounts of information. Their most important benefit is saving time, which we do not have much nowadays. Therefore, a summary must be short, representative and readable. Generating summaries automatically can be beneficial for humans, since it can save time and help selecting relevant documents. Automatic summarization and, in particular, Automatic text summarization (ATS) is not a new research field; It was known since the 50s. Since then, researchers have been active to find the perfect summarization method. In this article, we will discuss different works in automatic summarization, especially the recent ones. We will present some problems and limits which prevent works to move forward. Most of these challenges are much more related to the nature of processed languages. These challenges are interesting for academics and developers, as a path to follow in this field.

연구 동기 및 목표

• 입력 문서 기준, 목적, 출력 형태에 기반해 기존 자동 텍스트 요약(ATS) 방법을 조사하고 분류하기.
• ATS 발전을 저해하는 핵심 과제를 특정하기, 평가의 어려움, 주석이 달린 자료 부족, NLP 자원 부족 등.
• 현재 평가 관행과 요약 품질에 대한 더 견고하고 인간과 유사한 평가의 필요성 사이의 격차를 부각하기.
• ATS 시스템 발전을 위해 도메인 특화 및 多국어 지원의 중요성을 강조하기.
• 공개되지 않은 문제들인 일관성, 난이도, 자동 품질 평가 등 향후 연구를 이끌기 위해 제시하기.

제안 방법

• 입력 문서 원천 크기(단일문서 대 다중문서), 구체성(도메인 특화 대 일반 목적), 형태(구조화된, 비구조화된, 다중미디어 등)의 세 기준을 사용해 요약 시스템을 분류한다.
• 주요 ATS 접근법을 검토하며, 예를 들어 TF-IDF, 중심점 기반 방법 등 추출형 방법, 개재형 방법, 언어학적 및 통계적 특징을 활용한 하이브리드 기법을 포함한다.
• 데이터 부족, 특히 저자원 도메인에서의 문제를 해결하기 위해 기계 학습 및 준지도 학습의 활용을 분석한다.
• 기준 기반 자동 평가 지표(예: ROUGE)와 인간 평가를 포함한 평가 프레임워크를 분석하고, 일관성과 난이도 평가에서의 한계를 제기한다.
• 의료 개념, 신호어 등 도메인 특화 자원이 관련성 향상과 모호성 감소에 기여하는 방식을 논의한다.
• 미래의 시스템은 더 깊은 언어학적 분석과 자동 품질 제어를 통합하여 요약의 유창성과 구조를 향상시켜야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 입력, 목적, 출력 기준에 따라 자동 텍스트 요약 시스템의 주요 분류는 무엇인가?
• RQ2 현재 평가 방법은 왜 개재형 요약의 품질을 충분히 평가하지 못하는가?
• RQ3 자동 텍스트 요약을 위한 신뢰할 수 있고 다양한 훈련 자료를 만들기 위한 주요 과제는 무엇인가?
• RQ4 언어별 NLP 도구의 제한 사항은 다국어 요약 시스템 개발에 어떻게 영향을 미치는가?
• RQ5 요약 난이도와 일관성 평가에서 해결되지 않은 핵심 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 단일문서 요약과 다중문서 요약이 여전히 주요 입력 분류로 남아 있으며, 다중문서 시스템은 자료 간 중복으로 인해 도전 과제를 겪고 있다.
• 의료 개념이나 법적 신호어를 사용하는 도메인 특화 요약 시스템은 일반 목적 모델 대비 관련성 탐지 능력에서 향상된 성능을 보인다.
• 훈련 및 평가를 위한 표준화되고 고도로 품질이 높은 자료 부족은 여전히 주요 장애물이며, 특히 저자원 언어와 뉴스 외 장르에서 더욱 심각하다.
• ROUGE와 같은 자동 평가 지표는 추출형 요약에 비해 개재형 방법에 대해 효과가 떨어지며, 의미적 및 문법적 품질을 잘 포착하지 못하는 경향이 있다.
• 인간 평가는 주관적 변동으로 인해 비용이 많이 들고 일관성이 떨어지지만, 여전히 정보성과 난이도 평가의 황금 표준으로 남아 있다.
• 현재 ATS 연구에서 난이도와 일관성은 평가가 부족한 영역이지만, 사용자 이해도와 시스템 사용성 측면에서 매우 중요하다.