[논문 리뷰] From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information

Shen Gao, Xiuying Chen외 3명|arXiv (Cornell University)|2020. 05. 10.

Topic Modeling참고 문헌 65인용 수 5

한 줄 요약

이 논문은 표준 추출형/개념형 요약 외에도 문서 구조, 질의, 대화 기록, 템플릿, 다중매체 등 다양한 정보를 활용하는 새로운 텍스트 요약 작업을 조사한다. 이러한 작업들에 대해 데이터 기반의 딥러닝 기반 방법을 제시하며, 템플릿 기반 생성 및 다중모달 융합 기법을 포함하여 200만 건 이상의 샘플을 포함하는 대규모 데이터셋인 패턴화된 요약 코퍼스에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Text summarization is the research area aiming at creating a short and condensed version of the original document, which conveys the main idea of the document in a few words. This research topic has started to attract the attention of a large community of researchers, and it is nowadays counted as one of the most promising research areas. In general, text summarization algorithms aim at using a plain text document as input and then output a summary. However, in real-world applications, most of the data is not in a plain text format. Instead, there is much manifold information to be summarized, such as the summary for a web page based on a query in the search engine, extreme long document (e.g., academic paper), dialog history and so on. In this paper, we focus on the survey of these new summarization tasks and approaches in the real-world application.

연구 동기 및 목표

• 문서 구조 및 외부 지식과 같은 다각적 정보를 통합한 요약에 관한 체계적인 문헌 조사 부족을 보완하기 위해.
• 스트림, 타임라인, 극장장 문서, 대화, 질의 기반, 코멘트 포함, 템플릿 기반, 다중모달 요약을 포함한 여덟 가지 새로운 요약 작업을 조사하기 위해.
• 이러한 복잡한 환경에서 전통적인 특징 엔지니어링 접근 방식에 비해 우수한 성능을 보이는 데이터 기반의 신경망 기반 방법을 제시하기 위해.
• 미래의 요약 응용 프로그램을 위한 문제 정의, 데이터 수집, 모델 아키텍처에 대한 종합적인 개요를 제공하기 위해.
• 실제 세계의 비표준 입력 형식을 위한 고급 요약 시스템을 구축하는 데 있어 최근의 진전과 향후 방향성을 부각하기 위해.

제안 방법

• 문서 구조를 통합하는 작업과 추가 지식을 통합하는 작업을 구분하는 여덟 가지 새로운 요약 작업의 분류 체계를 제안한다.
• 템플릿, 질의 또는 시각적 입력으로부터의 정보를 소스 문서와 융합하기 위해 어텐션 메커니즘을 활용하는 딥러닝 기반 모델을 도입한다.
• 텍스트 및 이미지 또는 영상 입력으로부터 요약을 생성하기 위해 다중모달 어텐션을 활용한 시퀀스 투 시퀀스 모델을 적용한다.
• 이미지 기반 요약에서 관련성이 없는 시각적 특징으로 인한 노이즈를 줄이기 위해 이미지 어텐션과 컨텍스트 필터를 적용한다.
• 3D CNN(예: ResNeXt-101)를 통해 추출한 영상 표현을 텍스트 생성 모델에 계층적 어텐션을 통해 통합한다.
• 대규모 패턴화된 요약 데이터셋(200만 건 이상의 샘플)을 활용하여 재사용 가능한 요약 템플릿과 핵심 사실 추출을 학습하는 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 요약 시스템은 질의, 문서 구조, 다중매체 콘텐츠와 같은 다양한 정보를 효과적으로 통합할 수 있는가?
• RQ2 대화 기록이나 질의가 포함된 웹 페이지와 같은 복잡한 실세계 입력 형식으로 표준 요약을 확장할 때의 주요 과제는 무엇인가?
• RQ3 이러한 새로운 요약 작업에서 데이터 기반의 딥러닝 기반 방법은 기존의 규칙 기반 또는 특징 엔지니어링 기반 접근 방식과 비교해 어떻게 성능을 냅니다?
• RQ4 학습된 템플릿과 소스 문서 및 템플릿 문서 간의 종속성 모델링은 요약 품질 향상에 어떤 역할을 하는가?
• RQ5 시각적 및 영상 데이터는 어떻게 효과적으로 텍스트와 융합되어 개괄적 요약 성능을 향상시킬 수 있는가?

주요 결과

• 의존성 모델링을 통한 제안된 템플릿 기반 방법은 2,003,390개의 문서-요약 쌍을 포함하는 대규모 패턴화된 요약 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 어텐션 메커니즘을 활용한 이미지 및 영상 인코더를 통한 다중모달 요약 모델은 관련성이 있는 시각 콘텐츠를 통합함으로써 요약 품질을 향상시킨다.
• 이미지 어텐션 필터와 컨텍스트 필터는 관련성이 없는 시각적 특징으로 인한 노이즈를 감소시켜 이미지 기반 요약의 강건성을 향상시킨다.
• 3D CNN(예: ResNeXt-101)와 계층적 어텐션을 활용한 영상 기반 요약 모델은 영상 콘텐츠와 생성된 요약 간의 보다 우수한 정렬을 달성한다.
• 신경망 기반의 개괄적 요약 모델은 전통적인 추출형 및 재구성 기반 방법보다 ROUGE 점수에서 뛰어난 성능을 보이며, 최고의 모델은 CNN/DailyMail 데이터셋에서 ROUGE-1 43.25, ROUGE-2 20.24, ROUGE-L 39.63을 기록한다.
• 질의 인식 어텐션을 통합한 질의 기반 요약에서는 질의 무관 기반 방법에 비해 더 관련성 있고 집중된 요약을 생성한다.