[논문 리뷰] Bengali text summarization by sentence extraction

Kamal Sarkar|arXiv (Cornell University)|2012. 01. 11.

Topic Modeling참고 문헌 21인용 수 44

한 줄 요약

이 논문은 문장 추출 기반 접근법을 제안하여 벵골어 텍스트의 자동 요약을 수행하며, 특징 기반 문장 순위 매기기를 통해 중요한 문장을 식별한다. 기존의 기초 방법들에 비해 요약 품질에서 뚜렷한 향상을 이룩하며, 간단하면서도 효과적인 언어학적 및 통계적 특징을 사용하여 벵골어와 같이 자원이 부족한 언어에 대한 추출 요약의 가능성을 입증한다.

ABSTRACT

Text summarization is a process to produce an abstract or a summary by selecting significant portion of the information from one or more texts. In an automatic text summarization process, a text is given to the computer and the computer returns a shorter less redundant extract or abstract of the original text(s). Many techniques have been developed for summarizing English text(s). But, a very few attempts have been made for Bengali text summarization. This paper presents a method for Bengali text summarization which extracts important sentences from a Bengali document to produce a summary.

연구 동기 및 목표

• 벤골어와 같이 자연어처리 도구가 제한된 저자원 언어에 대해 자동 요약 기법이 부족한 문제를 해결하기 위해.
• 심층적 언어학적 분석이 필요하지 않은, 벵골어 문서에서 핵심 문장을 선택하는 효과적인 추출 요약 시스템을 개발하기 위해.
• 다양한 문장 수준의 특징이 벵골어 요약 성능에 미치는 영향을 평가하기 위해.
• 향후 추출 기반 접근법을 사용한 벵골어 텍스트 요약 분야의 연구를 위한 기초 방법을 제공하기 위해.

제안 방법

• 이 방법은 문장 위치, 단어 빈도, 문장 길이 등의 사전 정의된 특징을 기반으로 벵골어 문서에서 문장을 추출한다.
• 각 문장은 요약 품질을 최대화하기 위해 경험적으로 결정된 가중치를 가진 특징의 가중합으로 점수를 매긴다.
• 시스템은 계산된 점수에 따라 문장을 순위 매기고, 상위 순위의 문장을 선택하여 최종 요약을 구성한다.
• 특징 공학에는 단어 빈도, 문장 위치(초기/후기), 문서 제목과의 어휘적 일치도 포함된다.
• 이 접근법은 순수하게 추출적인 것으로, 원문의 완전한 문장을 재작성하거나 압축하지 않고 그대로 선택한다.
• 모델은 ICBIM-2012 학술 회의록에 수록된 수동으로 주석 처리된 벵골어 뉴스 기사 데이터셋을 기반으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 간단하고 특징 기반의 문장 추출 방법이 벵골어 텍스트 요약에 효과적으로 작용할 수 있는가?
• RQ2 어느 문장 수준의 특징이 추출 요약의 품질에 가장 크게 기여하는가?
• RQ3 제안된 방법의 성능이 벵골어 텍스트에 대한 기초 추출 요약 기법과 비교해 어떻게 되는가?
• RQ4 언어학적 및 통계적 특징이 저자원 언어인 벵골어에서 요약 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 기초 추출 요약 기법 대비 벵골어 요약 데이터셋에서 ROUGE 점수에서 뚜렷한 향상을 이룩했다.
• 문장 위치와 단어 빈도가 문장 중요도를 결정하는 데 가장 영향력 있는 특징였다.
• 제목 기반 어휘 일치의 포함이 요약의 관련성과 통일성을 향상시켰다.
• 시스템은 다양한 종류의 벵골어 뉴스 기사에서 뛰어난 성능을 보이며 일반화 가능성도 입증했다.
• 경량 특징 공학을 통해 추출 요약이 벵골어에 대해 실현 가능하다는 것이 결과적으로 확인되었다.
• 이 연구는 향후 벵골어 자연어처리 및 저자원 언어 요약 분야의 연구를 위한 기초 프레임워크를 제공한다.