[논문 리뷰] Long Document Summarization with Top-down and Bottom-up Inference

Bo Pang, Erik Nijkamp외 4명|arXiv (Cornell University)|2022. 03. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 장문의 문서 요약을 위한 상향식 및 하향식 추론 프레임워크를 제안하며, 토큰 수준의 표현을 위한 局부 자기주의(self-attention)와 세그먼트 수준에서의 전역 자기주의를 결합하여 장거리 의존성을 포착함으로써 효율성과 성능을 향상시킨다. 이 방법은 장문 요약 벤치마크에서 최신 기술 수준의 성능을 달성하며, GPT-3 모델의 0.27%에 불과한 파라미터로 전체 책을 요약할 수 있다.

ABSTRACT

Text summarization aims to condense long documents and retain key information. Critical to the success of a summarization model is the faithful inference of latent representations of words or tokens in the source documents. Most recent models infer the latent representations with a transformer encoder, which is purely bottom-up. Also, self-attention-based inference models face the challenge of quadratic complexity with respect to sequence length. We propose a principled inference framework to improve summarization models on these two aspects. Our framework assumes a hierarchical latent structure of a document where the top-level captures the long range dependency at a coarser time scale and the bottom token level preserves the details. Critically, this hierarchical structure enables token representations to be updated in both a bottom-up and top-down manner. In the bottom-up pass, token representations are inferred with local self-attention to leverage its efficiency. Top-down correction is then applied to allow tokens to capture long-range dependency. We demonstrate the effectiveness of the proposed framework on a diverse set of summarization datasets, including narrative, conversational, scientific documents and news. Our model achieves (1) competitive or better performance on short documents with higher memory and compute efficiency, compared to full attention transformers, and (2) state-of-the-art performance on a wide range of long document summarization benchmarks, compared to recent efficient transformers. We also show that our model can summarize an entire book and achieve competitive performance using $0.27\%$ parameters (464M vs. 175B) and much less training data, compared to a recent GPT-3-based model. These results indicate the general applicability and benefits of the proposed framework.

연구 동기 및 목표

• 장문의 문서를 처리할 때 트랜스포머에서 전체 자기주의의 제곱형 계산 복잡도 문제를 해결하기 위해.
• 하향식 및 상향식 추론 경로를 통합하여 개괄적 요약에서 잠재 표현의 정확성을 향상시키기 위해.
• 장거리 의존성 모델링을 효과적으로 수행하면서도 장문의 문서에서 세밀한 토큰 수준의 세부 정보를 유지하기 위해.
• 대규모 순차적 모델에 비해 훨씬 적은 모델 크기와 학습 데이터로 경쟁 가능한 요약 성능를 달성하기 위해.

제안 방법

• 프레임워크는 토큰 수준의 표현을 하향식 단계에서 국소 자기주의를 통해 먼저 추론하는 계층적 잠재 구조를 사용한다.
• 토큰 수준의 출력에서 적응형 또는 동일 가중치 풀링을 사용하여 세그먼트 수준의 표현을 풀링하여 고수준의 개괄적 표현을 형성한다.
• 세그먼트 수준의 표현에 전역 자기주의를 적용하여 문서 전반의 장거리 의존성을 포착한다.
• 세그먼트 수준 표현과 토큰 수준 표현 간의 교차주의를 통해 하향식 보정을 수행하여 전역적 맥락으로 토큰 표현을 업데이트한다.
• 최종 토큰 표현은 디코더에 의해 개괄적 요약을 생성하는 데 사용된다.
• 모델는 트랜스포머 기반 아키텍처로 구현되며, BART에서 미리 훈련된 후 요약 데이터셋에서 미세조정된다.

실험 결과

연구 질문

• RQ1 순수하게 하향식 트랜스포머보다 하이브리드 상향식 및 하향식 추론 메커니즘이 장문의 문서 요약 품질을 향상시킬 수 있는가?
• RQ2 세그먼트 수준의 표현을 통해 전역 맥락을 통합함으로써 제곱형 복잡도 없이도 장거리 의존성을 효과적으로 포착할 수 있는가?
• RQ3 국소 자기주의의 윈도우 크기가 장문의 문서에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 극적으로 감소된 모델 크기와 자료 요구량으로도 경쟁 가능한 요약 성능를 달성할 수 있는가?
• RQ5 교차주의를 통한 하향식 업데이트 메커니즘이 연결(concatenation)과 같은 다른 방법보다 더 효과적인가?

주요 결과

• 모델는 PubMed, arXiv, CNN-DM, BookSum를 포함한 장문 요약 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• 국소 자기주의의 윈도우 크기가 1024일 때, PubMed에서 ROUGE-1, ROUGE-2, ROUGE-L 점수는 각각 48.34, 21.40, 44.22를 기록한다.
• 더 큰 국소 주의 윈도우 크기로 갈수록 성능이 향상되며, 512와 1024에서 성능 향상이 관찰되어 확장된 국소 맥락의 이점이 확인된다.
• 제거 실험 결과, 교차주의를 통한 하향식 업데이트가 연결 기반 업데이트 및 하향식 업데이트 없음보다 성능이 뛰어나 효과성을 입증한다.
• 모델는 GPT-3의 175B 파라미터의 0.27%에 해당하는 464M 파라미터로도 전체 책을 요약할 수 있어 높은 파라미터 효율성을 보여준다.
• 최근의 GPT-3 기반 모델에 비해 훨씬 적은 학습 데이터를 사용하면서도 경쟁 가능한 성능를 유지한다.