[논문 리뷰] On Improving Informativity and Grammaticality for Multi-Sentence Compression

Elaheh ShafieiBavani, Mohammad Ebrahimi외 2명|arXiv (Cornell University)|2016. 05. 07.

Natural Language Processing Techniques참고 문헌 28인용 수 3

한 줄 요약

이 논문은 다중 문장 압축에서 정보성과 문법성의 균형을 동시에 향상시키기 위해 단어 그래프 기반의 새로운 접근법을 제안한다. 이 방법은 다어적어미(MWE) 통합, 동의어 기반 단어 매핑, 7-그램 POS 기반 언어 모델(POS-LM)을 이용한 재순서 정렬을 통합함으로써 성능을 향상시킨다. 이는 뉴스 기사 데이터셋에서 최신 기술 수준의 성능을 달성하며, 자동 평가와 인간 평가 점수를 모두 향상시키면서도 높은 압축 비율을 유지한다.

ABSTRACT

Multi Sentence Compression (MSC) is of great value to many real world applications, such as guided microblog summarization, opinion summarization and newswire summarization. Recently, word graph-based approaches have been proposed and become popular in MSC. Their key assumption is that redundancy among a set of related sentences provides a reliable way to generate informative and grammatical sentences. In this paper, we propose an effective approach to enhance the word graph-based MSC and tackle the issue that most of the state-of-the-art MSC approaches are confronted with: i.e., improving both informativity and grammaticality at the same time. Our approach consists of three main components: (1) a merging method based on Multiword Expressions (MWE); (2) a mapping strategy based on synonymy between words; (3) a re-ranking step to identify the best compression candidates generated using a POS-based language model (POS-LM). We demonstrate the effectiveness of this novel approach using a dataset made of clusters of English newswire sentences. The observed improvements on informativity and grammaticality of the generated compressions show that our approach is superior to state-of-the-art MSC methods.

연구 동기 및 목표

• 다중 문장 압축(MSC)에서 정보성과 문법성을 동시에 향상시키는 데 오랫동안 지속된 과제를 해결하기 위해.
• 이전의 단어 그래프 기반 MSC 방법에서 관찰된 상호 보완성의 문제를 해결하기 위해, 한 품질을 향상시키면 다른 품질이 떨어지는 현상을 방지하기 위해.
• MWE 및 동의어와 같은 언어적 구조를 활용하여 압축 문장의 품질을 향상시키기 위해.
• 문법적으로 올바르고 유창한 압축문을 선호하는 POS 기반 언어 모델을 이용한 재순서 정렬 전략을 개발하기 위해.
• 표준 영문 뉴스 기사 데이터셋을 대상으로 자동 평가와 인간 평가를 통해 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 단어 그래프 내에서 다어적어미(MWE)의 단어들을 하나의 노드로 통합하여 의미 모호성을 줄이고 의미의 일관성을 향상시키기 위해.
• MWE를 사용 가능한 한 단어 동의어로 대체하고, 개별 단어의 동의어를 활용하여 노드 매핑을 안내하기 위해 동의어 적용을 수행하기 위해.
• 7-그램 POS 기반 언어 모델(POS-LM)을 사용하여 단어 그래프 내의 k개의 최단 경로를 재순서 정렬하여 문법적으로 잘 구성된 압축문을 선호하기 위해.
• POS 태깅된 문장과 정지어를 기반으로 단어 그래프를 구축하고, 동적 프로그래밍을 사용하여 후보 압축문으로서의 k개의 최단 경로를 찾기 위해.
• MWE 통합, 동의어 매핑, POS-LM 재순서 정렬을 조합한 하이브리드 전략을 사용하여 고품질의 압축문을 생성하기 위해.
• 수동 MWE 탐지 및 WordNet을 이용한 동의어 정렬을 통해 인간 평가 및 자동 메트릭(ROUGE, BLEU)을 통한 결과 검증을 수행하기 위해.

실험 결과

연구 질문

• RQ1 단어 그래프 내에서 다어적어미(MWE)를 하나의 노드로 통합하는 것이 압축문의 정보성 향상에 기여하는가?
• RQ2 단어와 MWE 간의 동의어 통합이 다중 문장 압축의 품질 향상에 기여하는가?
• RQ3 POS 기반 언어 모델(POS-LM)이 압축 후보를 효과적으로 재순서 정렬하여 정보성 훼손 없이 문법성 향상을 이룰 수 있는가?
• RQ4 MWE 통합, 동의어 매핑, POS-LM 재순서 정렬의 각 구성 요소가 압축 품질 향상에 기여하는 정도는 어느 정도인가?
• RQ5 자동 평가 메트릭(ROUGE 및 BLEU)이 정보성과 문법성에 대한 인간 평가와 얼마나 관련이 있는가?

주요 결과

• 제안된 방법은 ROUGE-1 F1 점수 0.5841, ROUGE-2 0.4284, ROUGE-su4 0.3950, BLEU-4 0.6913을 기록하여 기준 방법들을 모두 능가했다.
• 인간 평가 결과, 다양한 클러스터에서 문법성(1.47)과 정보성(1.36)이 유의미하게 향상되었으며, 압축 비율은 48%를 유지했다.
• POS-LM 재순서 정렬 단계가 문법성 향상에 가장 기여했으며, 이는 0.6913의 BLEU-4 점수와 유사하게 문법적 유창성과 강한 상관관계를 보였다.
• MWE 통합과 동의어 매핑이 정보성 향상에 크게 기여했으며, 특히 ROUGE-1 및 ROUGE-2에서 높은 점수로 나타났다.
• 모든 세 가지 구성 요소(MWE, 동의어, POS-LM)의 조합이 가장 뛰어난 종합 성능을 보였으며, 자동 메트릭과 인간 평가 간 상관계수는 0.5~1.0 수준이었다.
• 연구 결과, ROUGE는 정보성과 더 잘 관련되며, BLEU는 문법성과 더 잘 관련됨을 확인하여 두 메트릭이 상호 보완적인 평가 도구로 유용함을 입증했다.