[논문 리뷰] At Which Level Should We Extract? An Empirical Study on Extractive Document Summarization

Qingyu Zhou, Furu Wei외 1명|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 39인용 수 5

한 줄 요약

이 논문은 추출형 문서 요약에서 문장 수준의 추출 단위 대신 문항 단위를 대체 단위로 사용하는 것을 조사하며, 구성성 parsing 트리를 사용하여 의미 있는 어구를 식별하고 추출하는 신경망 모델을 제안한다. 실험 결과, 자동 평가 및 인간 평가 모두에서 문장 수준의 추출 방식과 비교해도 성능이 유사하거나 이를 초월하며, 더 정밀하고 덜 반복적인 요약 방식을 제공한다.

ABSTRACT

Extractive methods have been proven effective in automatic document summarization. Previous works perform this task by identifying informative contents at sentence level. However, it is unclear whether performing extraction at sentence level is the best solution. In this work, we show that unnecessity and redundancy issues exist when extracting full sentences, and extracting sub-sentential units is a promising alternative. Specifically, we propose extracting sub-sentential units based on the constituency parsing tree. A neural extractive model which leverages the sub-sentential information and extracts them is presented. Extensive experiments and analyses show that extracting sub-sentential units performs competitively comparing to full sentence extraction under the evaluation of both automatic and human evaluations. Hopefully, our work could provide some inspiration of the basic extraction units in extractive summarization for future research.

연구 동기 및 목표

• 문장 수준의 추출이 추출형 문서 요약에서 최적의 단위인지 조사하는 것.
• 전체 문장 추출 방법에서의 부속성과 불필요한 내용을 식별하는 것.
• 추출 요약을 위한 더 정밀한 대안으로서 문항 단위를 탐구하는 것.
• 유informative한 문항 단위를 효과적으로 추출하는 신경망 모델을 개발하는 것.

제안 방법

• 방법은 구성성 parsing 트리를 사용하여 문법적 구성요소를 후보로 삼는 문항 단위로 식별한다.
• 신경망 추출 모델을 훈련시어 가장 유informative한 문항 단위를 점수 매기고 선택한다.
• 문항 단위는 그들의 문법적 구조와 의미적 관련성에 기반하여 추출된다.
• 모델은 문법적 구조와 맥락적 임bedding을 모두 활용하여 추출 정확도를 향상시킨다.
• 표준 자동 평가 지표와 인간 평가를 사용하여 접근 방식을 평가한다.
• 동일한 실험 설정에서 문장 수준의 추출 기준 모델과 시스템을 비교한다.

실험 결과

연구 질문

• RQ1 문장 수준의 추출이 추출 요약에서 가장 효과적인 단위인가?
• RQ2 문항 단위는 전체 문장에 비해 부속성과 요약 품질을 향상시키는가?
• RQ3 신경망 모델이 효과적으로 정보가 풍부한 문항 단위를 추출하고 순위를 매길 수 있는가?
• RQ4 자동 평가 및 인간 평가에서 문항 단위 추출은 문장 수준의 추출과 어떻게 비교되는가?

주요 결과

• 문항 단위 추출은 표준 요약 벤치마크에서 문장 수준의 추출과 경쟁 가능한 성능을 달성한다.
• 인간 평가 결과, 문항 단위 기반 요약은 더 정밀하고 덜 반복적인 것으로 평가된다.
• 구성성 parsing의 사용은 모델이 의미적으로 일관되고 정보가 풍부한 어구를 식별하도록 한다.
• 신경망 모델은 어구 수준에서 핵심 내용을 선택하는 데 있어 개선된 강건성과 관련성과 함께 성능을 보여준다.
• 결과적으로, 문항 단위는 전체 문장 대비 실용적이고 잠재적으로도 열등한 대안이 될 수 있음을 시사한다.