[논문 리뷰] Conceptual Text Summarizer: A new model in continuous vector space

Mohammad Ebrahim Khademi, Mohammad Fakhredanesh외 1명|arXiv (Cornell University)|2017. 10. 30.

Topic Modeling참고 문헌 31인용 수 3

한 줄 요약

이 논문은 연속 벡터 공간 표현을 사용하여 페르시아어 텍스트 요약을 위한 비지도 학습 및 하이브리드 딥 러닝 및 통계 기반 방법을 제안한다. 이 방법은 Hamshahri2 코퍼스로부터 단어 임베딩을 학습하고, 关건어를 추출하며, 개념을 군집화하고 문장을 순위 매겨 요약을 생성한다. 수동으로 설계된 특징 없이도 초과된 페르시아어 요약 방법보다 ROUGE-2 재현율에서 7.5% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Traditional methods of summarization are not cost-effective and possible today. Extractive summarization is a process that helps to extract the most important sentences from a text automatically and generates a short informative summary. In this work, we propose an unsupervised method to summarize Persian texts. This method is a novel hybrid approach that clusters the concepts of the text using deep learning and traditional statistical methods. First we produce a word embedding based on Hamshahri2 corpus and a dictionary of word frequencies. Then the proposed algorithm extracts the keywords of the document, clusters its concepts, and finally ranks the sentences to produce the summary. We evaluated the proposed method on Pasokh single-document corpus using the ROUGE evaluation measure. Without using any hand-crafted features, our proposed method achieves state-of-the-art results. We compared our unsupervised method with the best supervised Persian methods and we achieved an overall improvement of ROUGE-2 recall score of 7.5%.

연구 동기 및 목표

• 비용 효율적이고 비지도 학습 기반의 페르시아어 텍스트 요약 방법을 개발하기 위해.
• 수동으로 설계된 특징에 의존하지 않고 요약 성능을 향상시키기 위해.
• 텍스트 내 개념 군집화를 위해 딥 러닝을 전통적인 통계 기법과 통합하기 위해.
• ROUGE 평가 지표를 사용하여 Pasokh 단일 문서 코퍼스에서 최신 기술 수준의 성능을 달성하기 위해.
• 저자원 언어 요약에서 연속 벡터 공간 모델링의 효과성을 입증하기 위해.

제안 방법

• 단어 임베딩은 Hamshahri2 코퍼스와 단어 빈도 사전을 사용하여 연속 벡터 공간 내 의미 개념을 표현하기 위해 학습된다.
• 이 방법은 임베딩 기반 유사도와 통계적 빈도 분석을 조합하여 문서에서 관건어를 추출한다.
• 텍스트 내 개념은 딥 러닝 표현과 전통적인 통계 군집화 알고리즘을 융합한 하이브리드 접근 방식을 통해 군집화된다.
• 군집 중심점과 임베딩 유사도 점수를 사용하여 개념적 관련성과 커버리지 기반으로 문장을 순위 매긴다.
• 최종 요약은 상위 순위 문장들을 선택하여 핵심 정보와 일관성을 유지함으로써 생성된다.
• 모델은 완전히 비지도 방식으로 작동하여 레이블이 붙은 학습 데이터나 수동으로 설계된 특징에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 특징 없이도 비지도 방법이 페르시아어 텍스트 요약에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 딥 러닝 기반 단어 임베딩과 통계 군집화의 통합은 텍스트 내 개념 그룹화에 얼마나 효과적인가?
• RQ3 제안된 방법은 기존의 지도 학습 기반 접근 방식보다 페르시아어 요약 벤치마크에서 얼마나 뛰어난가?
• RQ4 연속 벡터 공간 표현은 페르시아어 텍스트 내 주요 개념을 얼마나 잘 포착하는가?
• RQ5 관건어 추출 및 문장 순위 매기기 전략이 요약 품질에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 최고의 지도 학습 기반 페르시아어 요약 방법보다 ROUGE-2 재현율 점수에서 7.5% 향상되었다.
• 모델은 수동으로 설계된 특징 없이도 Pasokh 단일 문서 코퍼스에서 최신 기술 수준의 성능을 달성했다.
• Hamshahri2 코퍼스에서 유도된 단어 임베딩의 통합은 페르시아어 텍스트의 의미 표현을 크게 향상시켰다.
• 하이브리드 군집화 접근 방식은 관련 개념을 효과적으로 군집화하여 문장 선택 정확도를 향상시켰다.
• 모델의 비지도 성격 덕분에 저자원 언어 응용 분야에서 확장 가능하고 비용 효율적인 접근이 가능하다.
• 제안된 방법은 미리 보지 않은 페르시아어 문서에 대해서도 강력한 일반화 능력을 보이며, 개념 표현의 견고함을 입증했다.