[논문 리뷰] Leveraging Locality in Abstractive Text Summarization

Yixin Liu, Ansong Ni외 5명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 공간적, 논의적 또는 문서 수준의 국소성 기반으로 장문의 문서를 겹치지 않는 페이지로 분할하여, 각 페이지에서 효율적인 전면 주의(attention) 모델링을 가능하게 하는 국소성 인식 abstractive 텍스트 요약 모델인 PageSum을 제안한다. 이 모델은 효율적인 주의 메커니즘을 통해 강력한 기준 모델들과 경쟁 가능한 ROUGE 점수를 달성하며, 장문 요약에서 국소성 기반의 인덕티브 바이어스가 메모리 효율적인 주의 근사치보다 뛰어난 성능을 낼 수 있음을 보여준다.

ABSTRACT

Neural attention models have achieved significant improvements on many natural language processing tasks. However, the quadratic memory complexity of the self-attention module with respect to the input length hinders their applications in long text summarization. Instead of designing more efficient attention modules, we approach this problem by investigating if models with a restricted context can have competitive performance compared with the memory-efficient attention models that maintain a global context by treating the input as a single sequence. Our model is applied to individual pages which contain parts of inputs grouped by the principle of locality during both encoding and decoding. We empirically investigated three kinds of locality in text summarization at different levels of granularity, ranging from sentences to documents. Our experimental results show that our model has a better performance compared with strong baselines with efficient attention modules, and our analysis provides further insights into our locality-aware modeling strategy.

연구 동기 및 목표

• 제한된 컨텍스트를 가진 모델이 장문 abstractive 요약에서 메모리 효율적인 주의 모델의 성능을 따라하거나 초월할 수 있는지 조사하기.
• 공간적, 논의적, 문서 수준의 국소성 유형이 요약에 대한 인덕티브 바이어스로서 얼마나 효과적인지 평가하기.
• 인코딩 및 디코딩 단계에서 국소성을 활용하여 자기주의(self-attention)의 제곱형 메모리 복잡도를 감소시키되, 성능을 손상시키지 않기.
• 전면 주의 메커니즘을 국소성 인식 프레임워크 내에서 유지함으로써, BART와 같은 사전 훈련된 모델과의 호환성을 유지할 수 있음을 보여주기.
• 국소성 기반 모델링이 효율적인 주의 근사치의 타당한 대안이 될 수 있음을 경험적으로 입증하기.

제안 방법

• 입력 문서는 국소성 원칙에 따라 겹치지 않는 페이지로 나뉜다: 순차적 근접성(공간적), 섹션 경계(논의적), 또는 클러스터 내 개별 문서(문서 수준).
• 각 페이지는 BART와 같은 모델의 원래 주의 메커니즘을 유지하는 전면 주의 트랜스포머 인코더를 사용해 독립적으로 인코딩된다.
• 디코더는 각 페이지의 국소 요약을 생성하며, 해당 예측에 대한 국소 예측과 신뢰도 점수를 동시에 생성한다.
• 최종 요약은 신뢰도 점수를 활용해 국소 예측의 가중 조합으로 생성된다.
• 인코딩 또는 디코딩 과정에서 페이지 간 주의를 유지하지 않아 엄격한 국소성 인덕티브 바이어스를 강제한다.
• 세 가지 유형의 국소성을 평가한다: 문장 수준의 공간 국소성, 섹션 수준의 논의 국소성, 다중 문서 설정에서의 문서 수준 국소성.

실험 결과

연구 질문

• RQ1 제한된 컨텍스트를 가진 국소성 인식 모델링 전략이 장문 요약에서 효율적인 주의 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 공간적, 논의적, 문서 수준의 국소성 중 어떤 유형이 다양한 요약 작업에서 가장 높은 성능을 낼 수 있는가?
• RQ3 국소 페이지 내에서 전면 주의 메커니즘을 유지하는 것이, 전반적인 컨텍스트를 유지하는 효율적인 주의 근사치보다 우수한가?
• RQ4 상호의존성이 있는 문장들이 멀리 떨어져 있을 경우, 국소성 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ5 실제 문서에 내재된 공간적 국소성은 페이지 기반 요약 프레임워크 설계를 뒷받침하는 데 어느 정도 기여하는가?

주요 결과

• PageSum은 효율적인 주의 모듈을 갖춘 강력한 기준 모델들을 능가하며, arXiv 및 GovReport 데이터셋에서 경쟁 가능한 또는 더 높은 ROUGE 점수를 달성한다.
• 공간 국소성이 뚜렷한 arXiv 데이터셋에서는 뛰어난 성능을 보이며, ROUGE-L F1 점수 42.1을 기록해 Longformer와 BigBird를 능가한다.
• GovReport 데이터셋에서는 공간 국소성이 낮음에도 불구하고 PageSum이 ROUGE-L F1 점수 38.5를 기록해 강력한 성능을 보였다.
• 두 상호의존 문장이 멀리 떨어져 있을 경우, 모델이 장거리 의존성을 포착하지 못하는 것으로 나타났으며, 사례 연구에서 두 기여 문장 중 하나만 포착된 바 있다.
• 이러한 제한에도 불구하고 장거리 의존성은 드물게 발생한다 — arXiv 데이터셋에서 상호의존 문장 쌍 중 1.8%만 거리 비율이 0.5를 초과한다.
• 결과적으로, 효율적인 주의 모델이 전반적인 글로벌 의존성을 포착하는 데에 완전히 성공하지 못할 수 있으며, 각 페이지에서 전면 주의를 유지하는 국소성 기반 모델이 비교적 또는 더 나은 성능을 낼 수 있음을 시사한다.