[논문 리뷰] Long-Span Dependencies in Transformer-based Summarization Systems.

Potsawee Manakul, Mark Gales|arXiv (Cornell University)|2021. 05. 08.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 트랜스포머 기반 개괄 요약 시스템에서 장거리 의존성 모델링을 향상시키기 위해 국소적 자기주의와 명시적 콘텐츠 선택을 융합한 하이브리드 접근법을 제안한다. 이러한 기법들을 조합함으로써, 대규모 GPU 자원을 요구하지 않고도 Spotify Podcast, arXiv, PubMed 데이터셋에서 최신 기준(SOTA) ROUGE 점수를 달 đạt한다.

ABSTRACT

Transformer-based models have achieved state-of-the-art results in a wide range of natural language processing (NLP) tasks including document summarization. Typically these systems are trained by fine-tuning a large pre-trained model to the target task. One issue with these transformer-based models is that they do not scale well in terms of memory and compute requirements as the input length grows. Thus, for long document summarization, it can be challenging to train or fine-tune these models. In this work, we exploit large pre-trained transformer-based models and address long-span dependencies in abstractive summarization using two methods: local self-attention; and explicit content selection. These approaches are compared on a range of network configurations. Experiments are carried out on standard long-span summarization tasks, including Spotify Podcast, arXiv, and PubMed datasets. We demonstrate that by combining these methods, we can achieve state-of-the-art results on all three tasks in the ROUGE scores. Moreover, without a large-scale GPU card, our approach can achieve comparable or better results than existing approaches.

연구 동기 및 목표

• 트랜스포머 기반 개괄 요약 시스템에서 장거리 의존성 문제를 해결한다.
• 입력 길이가 증가함에 따라 메모리 및 계산 자원 측면에서 표준 트랜스포머의 확장성 한계를 극복한다.
• 대규모 GPU 하드웨어에 의존하지 않고도 장문 문서에서 대규모 사전학습된 모델을 효과적으로 피지컬 튜닝할 수 있도록 한다.
• Spotify Podcast, arXiv, PubMed와 같은 장거리 의존성 데이터셋에서 요약 성능을 향상시킨다.
• 국소적 주의와 콘텐츠 선택의 조합이 기존 방법보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 전체 시퀀스 길이가 아닌 국소적 컨텍스트 윈도우에만 주의를 제한함으로써 계산 복잡도를 낮추기 위해 국소적 자기주의 기법을 적용한다.
• 주의 계산 이전에 장문 입력 문서에서 중요한 문장이나 어휘를 식별하고 우선순위를 정하기 위해 명시적 콘텐츠 선택을 구현한다.
• 장문문서 요약 작업에서 국소적 주의와 콘텐츠 선택 전략을 결합하여 대규모 사전학습된 트랜스포머 모델을 피지컬 튜닝한다.
• 표준 트랜스포머 아키텍처를 백본으로 사용하며, 장거리 컨텍스트를 효율적으로 처리하기 위해 주의 계산 및 입력 처리 방식을 수정한다.
• Spotify Podcast, arXiv, PubMed를 포함한 표준 장거리 요약 벤치마크에서 모델을 훈련하고 평가한다.
• ROUGE 메트릭 성능을 유지하면서 추론 효율성과 메모리 사용량을 최적화한다.

실험 결과

연구 질문

• RQ1 국소적 자기주의가 장문문서 요약에서 계산 비용을 효과적으로 줄이면서도 성능을 유지할 수 있는가?
• RQ2 명시적 콘텐츠 선택이 개괄 요약에서 장거리 의존성 모델링에 얼마나 기여하는가?
• RQ3 국소적 주의와 콘텐츠 선택의 조합이 장거리 요약 작업에서 표준 트랜스포머 피지컬 튜닝과 비교해 어떻게 성능을 높이는가?
• RQ4 제안된 방법이 대규모 GPU 인프라 없이도 최신 기준 성능을 달성할 수 있는가?
• RQ5 arXiv, PubMed, Spotify Podcast와 같은 다양한 장문문서 데이터셋에서 제안된 방법이 ROUGE 점수에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Spotify Podcast, arXiv, PubMed의 세 벤치마크 데이터셋 모두에서 최신 기준 ROUGE 점수를 달성한다.
• 국소적 주의와 명시적 콘텐츠 선택을 조합하면 각각을 별도로 사용할 때보다 더 뛰어난 성능을 낸다.
• 대규모 GPU 자원에 의존하지 않더라도 기존 접근법과 비교해 경쟁력 있거나 더 우수한 성능을 내는 것으로 확인된다.
• 표준 트랜스포머가 장거리 입력에서 발생하는 메모리 및 계산 자원 증가 문제를 효과적으로 완화한다.
• 제거 실험(ablation study) 결과, 국소적 주의와 콘텐츠 선택이 모두 최종 성능 향상에 기여한다는 것이 확인된다.
• 계산 요구량을 줄이면서도 높은 요약 품질을 유지함으로써, 실세계 적용에 실용적임을 입증한다.