[논문 리뷰] SEAL: Segment-wise Extractive-Abstractive Long-form Text Summarization

Yao Zhao, Mohammad Saleh외 1명|arXiv (Cornell University)|2020. 06. 18.

Topic Modeling참고 문헌 37인용 수 13

한 줄 요약

SEAL은 장문 요약을 위한 세그먼트 기반 추출형-개념형 Transformer 모델을 제안하며, 계산 비용을 줄이기 위해 스코어러 하위 네트워크를 통해 동적으로 희박한 입력 스니펫을 선택합니다. 성능 향상과 함께 해석 가능성도 향상시킵니다. 이 모델은 장문 요약 벤치마크에서 최고 성능을 기록하였으며, 10만 토큰에 이르는 새로운 데이터셋(Search2Wiki)에서도 뛰어난 성능을 보였고, 명시적인 어텐션 추적을 통해 더 높은 해석 가능성을 확보했습니다.

ABSTRACT

Most prior work in the sequence-to-sequence paradigm focused on datasets with input sequence lengths in the hundreds of tokens due to the computational constraints of common RNN and Transformer architectures. In this paper, we study long-form abstractive text summarization, a sequence-to-sequence setting with input sequence lengths up to 100,000 tokens and output sequence lengths up to 768 tokens. We propose SEAL, a Transformer-based model, featuring a new encoder-decoder attention that dynamically extracts/selects input snippets to sparsely attend to for each output segment. Using only the original documents and summaries, we derive proxy labels that provide weak supervision for extractive layers simultaneously with regular supervision from abstractive summaries. The SEAL model achieves state-of-the-art results on existing long-form summarization tasks, and outperforms strong baseline models on a new dataset/task we introduce, Search2Wiki, with much longer input text. Since content selection is explicit in the SEAL model, a desirable side effect is that the selection can be inspected for enhanced interpretability.

연구 동기 및 목표

• 입력 시퀀스가 최대 10만 토큰에 이르는 장문의 개석형 요약 문제를 해결하기 위해, 기존 표준 모델이 겪는 계산 및 메모리 제약을 극복하는 것.
• 단일 엔드 투 엔드 모델에서 추출형 및 개석형 구성 요소를 함께 훈련시켜 요약 성능를 향상시키며, 별도의 단계 훈련을 피하는 것.
• 디코딩 중에 입력 스니펫 선택을 명시적이고 점검 가능한 방식으로 하여 모델의 해석 가능성을 향상시키는 것.
• 기존 장문 요약 데이터셋(arXiv, PubMed 등)과 더불어, 훨씬 더 긴 입력 시퀀스를 가진 새로운 대규모 데이터셋인 Search2Wiki를 포함해 모델을 평가하는 것.
• 장기간 입력에 대해 동적이고 희박한 어텐션을 적용할 경우, 단순 잘라내기나 압축 기반 접근 방식보다 성능이 뛰어나다는 것을 입증하는 것.

제안 방법

• 모델은 장기간 입력 문서를 고정 길이의 스니펫으로 나누고, 이를 공유 인코더를 통해 독립적으로 처리합니다.
• 프록시 추출형 레이블에서 약한 지도를 받는 스코어러 하위 네트워크가 각 요약 세그먼트에 가장 관련성이 높은 스니펫을 식별합니다.
• 게이팅 메커니즘이 각 요약 세그먼트당 상위-k 스니펫만 선택하여 디코더에서 희박한 어텐션을 가능하게 합니다.
• 디코더는 선택된 스니펫들만 대상으로 전체 자기 어텐션과 교차 어텐션을 수행하며, 실제 개석형 요약에 의해 지도를 받습니다.
• 훈련 중에 모델은 병합된 손실을 최적화합니다: 프록시 레이블에서 유도된 추출형 손실과 실제 요약에서 유도된 개석형 손실.
• 각 세그먼트의 디코딩 과정에서 이전에 디코딩된 토큰을 스코어러 입력에 포함시켜, 디코딩 중 동적으로 맥락에 맞는 스니펫 선택이 가능하게 합니다.

실험 결과

연구 질문

• RQ1 1만 토큰이 넘는 장기간 입력 시퀀스에서 추출형 및 개석형 요약을 동시에 최적화할 수 있는 통합형 엔드 투 엔드 모델이 가능한가?
• RQ2 장문 요약에서 잘라내기나 압축 기반 접근 방식에 비해, 입력 스니펫에 대한 동적이고 희박한 어텐션은 성능과 효율성 면에서 향상되는가?
• RQ3 실제 추출형 애너테이션 없이도 프록시 추출형 레이블에서 유도된 약한 지도가 콘텐츠 선택을 효과적으로 이끌 수 있는가?
• RQ4 소프트 어텐션 모델에 비해, 입력 스니펫과 요약 세그먼트 간의 추적 가능성을 고려할 때 모델의 해석 가능성은 어떻게 비교되는가?
• RQ5 실제 웹 검색 결과에서 볼 수 있는 매우 장기간의 입력에 대해 모델이 일반화될 수 있으며, 그러한 데이터에서 기존 베이스라인을 초월할 수 있는가?

주요 결과

• SEAL 모델은 arXiv와 PubMed를 포함한 기존 장문 요약 데이터셋에서 최고 성능을 기록하며, 이전의 추출형 및 개석형 모델을 모두 능가합니다.
• 입력 시퀀스가 최대 10만 토큰에 이르는 새로운 Search2Wiki 데이터셋에서 SEAL은 강력한 베이스라인을 크게 능가하며, 초장기 입력에 대한 확장성과 효과성을 입증합니다.
• 모델의 $L_{seg}=16$, $L_{snpt}=64$, $L_{ext}=256$, $N_{snpt}=16$ 설정에서 CNN/DailyMail에서 R1/R2 점수는 각각 39.3/16.5를 기록하며, 1024개의 입력 토큰을 사용하는 잘라내기 모델과 동일한 성능을 달성합니다.
• 시각화 결과는 모델의 어텐션 메커니즘이 요약 세그먼트와 특정 입력 스니펫을 명확히 연결하고 있음을 보여주며, 소프트 어텐션 모델에 비해 더 높은 해석 가능성을 확보하고 있음을 확인합니다.
• 약한 지도를 받는 추출형 헤드와 엔드 투 엔드 훈련의 조합이, 추출형 및 개석형 구성 요소를 별도로 훈련시키는 것보다 더 뛰어난 성능을 내는 데 기여합니다.
• 모델의 동적 선택 메커니즘은 각 요약 세그먼트에 맞게 관련성이 높은 스니펫을 적응적으로 선택할 수 있게 하여, 효율성과 관련성 향상에 기여합니다.