[논문 리뷰] Efficient Attentions for Long Document Summarization

Luyang Huang, Shuyang Cao외 3명|arXiv (Cornell University)|2021. 04. 05.

Topic Modeling참고 문헌 48인용 수 11

한 줄 요약

이 논문은 장문 요약에서 계산 및 메모리 비용을 줄이기 위해 헤드 단위 위치 스타일의 간격을 사용하는 새로운 효율적인 인코더-디코더 어텐션 메커니즘인 Hepos를 제안한다. 10,000개 이상의 토큰을 처리할 수 있도록 하여 이전 모델보다 두 배 이상 늘어난 성능을 달성하며, GovReport 및 PubMed에서 최신 기준 ROUGE 점수를 기록하고 신뢰성 있는 요약을 제공한다. 인간 평가 결과, 더 정보가 풍부하고 정확한 요약임이 확인되었다.

ABSTRACT

The quadratic computational and memory complexities of large Transformers have limited their scalability for long document summarization. In this paper, we propose Hepos, a novel efficient encoder-decoder attention with head-wise positional strides to effectively pinpoint salient information from the source. We further conduct a systematic study of existing efficient self-attentions. Combined with Hepos, we are able to process ten times more tokens than existing models that use full attentions. For evaluation, we present a new dataset, GovReport, with significantly longer documents and summaries. Results show that our models produce significantly higher ROUGE scores than competitive comparisons, including new state-of-the-art results on PubMed. Human evaluation also shows that our models generate more informative summaries with fewer unfaithful errors.

연구 동기 및 목표

• 장문 요약에서 트랜스포머의 제곱형 계산 및 메모리 복잡도 문제를 해결한다.
• 기존의 효율적인 자기어텐션 방법이 개괄적 요약에서 인코더-디코더 어텐션으로 확장되지 않는 한계를 극복한다.
• 자르지 않고도 장문의 문서(예: 10,000+ 토큰)에서 종단간 훈련을 가능하게 하여 환각 현상을 줄인다.
• 장문의 문서(9,400단어)와 요약(553단어)을 포함한 새로운 벤치마크 데이터셋인 GovReport를 개발하여 장기 요약의 평가를 더 잘 수 있도록 한다.
• 기존 방법보다 인간 평가와 더 잘 관련되는 새로운 유사도 평가 지표인 APES src를 제안한다.

제안 방법

• 각 어텐션 헤드가 입력 시퀀스 전반에 걸쳐 고정된 간격(위치 스타일 간격)으로 토큰에 주목하는 다중헤드 어텐션 메커니즘인 Hepos를 도입한다.
• 각 헤드가 흐물어진 패턴의 키-밸류 어텐션으로 제한됨으로써 계산량을 O(nw)로 줄이면서도 각 헤드가 전역적 맥락을 유지한다.
• 기존의 흐물어진 인코더 자기어텐션 메커니즘(LSH, Sinkhorn 등)과 결합하여 입력 길이를 늘일 수 있도록 하되, 실용적인 한계를 넘지 않도록 메모리 소비를 유지한다.
• 기존의 엄격한 매칭 방식보다 어휘적 민감도를 높인, 참조 기반 질문을 사용해 요약과 원본에서의 답변를 비교하는 새로운 클로즈 스타일 QA 지표인 APES src를 설계한다.
• BART 기반 아키텍처를 사용해 Hepos를 인코더와 디코더 양쪽에 적용하여 새로운 GovReport 데이터셋에서 모델을 훈련 및 미세조정한다.
• 자동 평가 지표(ROUGE, FactCC, APES, APES src)와 인간 평가를 병행하여 요약 품질과 신뢰성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 효율적인 인코더-디코더 어텐션 메커니즘은 자르지 않고도 장문의 문서(예: 10,000+ 토큰)에서 훈련을 가능하게 할 수 있는가?
• RQ2 ROUGE 성능과 계산 효율성 측면에서 Hepos는 저차원 투영 기반 기법과 다른 효율적 어텐션 메커니즘보다 어떻게 비교되는가?
• RQ3 더 긴 입력 시퀀스를 처리하면 자동 평가 및 인간 평가를 통해 측정했을 때 더 정보가 풍부하고 신뢰성이 높은 요약을 생성하는가?
• RQ4 APES와 유사도 기반 스코어러와 비교해 인간 판단과 더 잘 관련되는 새로운 유사도 지표인 APES src는 기존 지표보다 더 나은 성능을 보이는가?
• RQ5 PubMed 및 GovReport에서 풀 어텐션 기반 베이스라인에 비해 Hepos는 장기 요약 문서에서 요약 품질을 얼마나 향상시키는가?

주요 결과

• Hepos를 사용하면 동일한 GPU에서 10,000개 이상의 입력 토큰을 처리할 수 있으며, 이는 풀 어텐션 모델의 5,000토큰 제한을 두 배 이상 초월한다.
• GovReport 데이터셋에서 Hepos 기반 모델은 ROUGE-L 점수 59.6을 기록하여 저차원 투영 기반 베이스라인(59.0)과 풀 어텐션 모델보다 뚜렷이 뛰어난 성능을 보였다.
• PubMed에서 Hepos 모델은 새로운 최신 기준 ROUGE-L 점수 73.3을 기록하여 이전 최고 성능 모델을 초월했다.
• 인간 평가 결과, Hepos로 생성된 요약은 경쟁 모델 대비 21% 더 정보가 풍부하고 23% 더 덜 불신뢰성이 있었으며, APES src 지표는 인간 평가와 가장 높은 상관관계(r = 0.32, PubMed 기준)를 보였다.
• APES src 지표는 APES 및 유사도 기반 스코어러보다 인간 평가와 더 잘 관련되었으며, 특히 '자살률' 대비 '사망률'과 같은 약어나 어휘 재구성 기반 참조를 보다 잘 포착하는 데 유리했다.