[논문 리뷰] Exploring Explainable Selection to Control Abstractive Generation

Haonan Wang, Yang Gao외 3명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 문장 간 상호작용과 중심성 모델링을 통해 설명 가능성을 향상시키는 선택-생성 프레임워크를 제안한다. 쌍별 추출기와 포인터 생성기, 학습 가능한 마스크 행렬을 통합함으로써 모델은 콘텐츠 선택과 생성을 제어하며, CNN/DailyMail 및 NYT 데이터셋에서 최신 기준 성능을 달성하고 인간 평가 결과에서도 뛰어난 성능을 보였다.

ABSTRACT

It is a big challenge to model long-range input for document summarization. In this paper, we target using a select and generate paradigm to enhance the capability of selecting explainable contents (i.e., interpret the selection given its semantics, novelty, relevance) and then guiding to control the abstract generation. Specifically, a newly designed pair-wise extractor is proposed to capture the sentence pair interactions and their centrality. Furthermore, the generator is hybrid with the selected content and is jointly integrated with a pointer distribution that is derived from a sentence deployment's attention. The abstract generation can be controlled by an explainable mask matrix that determines to what extent the content can be included in the summary. Encoders are adaptable with both Transformer-based and BERT-based configurations. Overall, both results based on ROUGE metrics and human evaluation gain outperformance over several state-of-the-art models on two benchmark CNN/DailyMail and NYT datasets.

연구 동기 및 목표

• 구조적 선택-생성 프레임워크를 사용하여 문서 요약에서 장거리 의존성을 모델링하는 과제를 해결한다.
• 의미, 신선도, 관련성에 기반한 의미 기반 기반으로 콘텐츠 선택의 해석 가능성을 향상시킨다.
• 콘텐츠 포함을 규제하는 설명 가능한 마스크 행렬을 통해 제어 가능한 개재 요약 생성을 가능하게 한다.
• 유연하고 강력한 표현 학습을 위한 트랜스포머 기반 및 BERT 기반 인코더를 통합한다.
• 기본 벤치마크 데이터셋에서 최신 기준 모델을 능가하는 우수한 성능을 달성한다.

제안 방법

• 문장 쌍 간의 상호작용을 모델링하고 중심성을 계산하여 콘텐츠 선택을 향상시키기 위해 쌍별 추출기를 설계한다.
• 선택된 콘텐츠와 융합된 하이브리드 생성기를 도입하며, 문장 배치 주의를 기반으로 파생된 포인터 네트워크를 통합하여 생성 정확도를 향상시킨다.
• 선택된 콘텐츠가 최종 요약에 포함되는 정도를 제어하기 위해 설명 가능한 마스크 행렬을 도입한다.
• 공유된 인코더 구성 요소를 통해 추출기와 생성기를 함께 훈련하며, 트랜스포머 및 BERT 기반 아키텍처를 모두 지원한다.
• 문장 배치 주의를 사용하여 포인터 메커니즘을 안내함으로써 생성된 콘텐츠가 선택된 주요 문장과 일치하도록 보장한다.
• 선택 및 생성 목표의 공동 최적화를 지원하는 엔드 투 엔드 훈련을 가능하게 하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 쌍별 문장 상호작용 모델링이 개재 요약에서 콘텐츠 선택의 해석 가능성과 품질을 향상시키는 데 효과적인가?
• RQ2 선택된 콘텐츠에 의해 안내될 때 주의 기반 포인터 생성기가 유창하고 관련성이 높은 요약을 얼마나 잘 생성하는가?
• RQ3 학습 가능한 마스크 행렬이 콘텐츠 포함을 얼마나 효과적으로 제어하고 요약 품질을 향상시키는가?
• RQ4 설명 가능한 선택 기반 개재 요약 생성이 표준 벤치마크에서 성능 향상에 기여하는가?
• RQ5 이 통합 선택-생성 프레임워크 내에서 BERT 기반 및 트랜스포머 기반 인코더는 어떻게 비교되는가?

주요 결과

• 제안된 모델은 ROUGE 지표 기준으로 CNN/DailyMail 및 NYT 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.
• 인간 평가 결과에 따르면, 이 모델이 생성한 요약은 경쟁 모델 대비 더 유창하고 관련성 있으며 의미적으로 일관성이 있다.
• 설명 가능한 마스크 행렬은 콘텐츠 포함을 효과적으로 제어하며, 의미적 및 관련성 신호에 기반한 세밀한 생성 제어를 가능하게 한다.
• 쌍별 추출기는 문장 수준의 상호작용과 중심성을 성공적으로 포착하여 주요 콘텐츠 선택에 기여한다.
• 주의 기반 포인터 메커니즘을 통합한 하이브리드 생성기는 개재 요약의 사실 일관성과 커버리지 향상에 기여한다.
• BERT 기반 및 트랜스포머 기반 인코더 모두 이 프레임워크 내에서 효과적이며, 다양한 설정에서 유사한 성능을 보였다.