[논문 리뷰] A Survey on Long Text Modeling with Transformers

Zican Dong, Tianyi Tang외 2명|arXiv (Cornell University)|2023. 02. 28.

Topic Modeling인용 수 14

한 줄 요약

이 설문은 Transformer 기반의 긴 텍스트 모델링을 다루며, 형식 정의, 전처리, 컨텍스트를 확장하는 아키텍처, 및 응용에 대해 다룹니다.

ABSTRACT

Modeling long texts has been an essential technique in the field of natural language processing (NLP). With the ever-growing number of long documents, it is important to develop effective modeling methods that can process and analyze such texts. However, long texts pose important research challenges for existing text models, with more complex semantics and special characteristics. In this paper, we provide an overview of the recent advances on long texts modeling based on Transformer models. Firstly, we introduce the formal definition of long text modeling. Then, as the core content, we discuss how to process long input to satisfy the length limitation and design improved Transformer architectures to effectively extend the maximum context length. Following this, we discuss how to adapt Transformer models to capture the special characteristics of long texts. Finally, we describe four typical applications involving long text modeling and conclude this paper with a discussion of future directions. Our survey intends to provide researchers with a synthesis and pointer to related work on long text modeling.

연구 동기 및 목표

• 긴 텍스트 모델링과 그 과제에 대한 형식적 정의를 제공합니다.
• 긴 텍스트를 PLM에 적합하게 조정하기 위한 전처리 기법을 요약합니다.
• 문맥 길이를 확장하고 효율성을 유지하는 Transformer 아키텍처를 검토합니다.
• 긴 텍스트의 특수한 특성(장기 의존성, 문장 간 관계, 담화)을 논의하고 모델링 전략을 제시합니다.
• 긴 텍스트 모델링의 일반적 응용 및 향후 방향을 개요합니다.

제안 방법

• 긴 텍스트 모델링을 Y = f(g(X); C, M)로 정의하되, 전처리 g, 특성 C, Transformer 모델 M을 포함합니다.
• 출력 유형에 따라 작업을 분류합니다: 시퀀스(추출/생성) 및 라벨(분류).
• 절단, 청크화, 콘텐츠 선택 등의 전처리 방법과 그것들의 수식 및 trade-off를 상세히 다룹니다.
• 고정/학습 가능한 어텐션, 커널, 메모리 기반 순환 트랜스포머 등 효율적 Transformer 변형과 인코더–디코더 어텐션 전략을 조사합니다.
• 롱 시퀀스용 사전 학습 목표(MLM, 문장 단위 목표, 문서 인지 순서 지정)를 논의합니다.
• 계층화, 그래프, 담화 인지 설계를 통한 아키텍처로 긴 텍스트 특성을 다루는 방법을 설명합니다.

실험 결과

연구 질문

• RQ1 PLM의 최대 컨텍스트 길이가 주어진 상황에서 긴 텍스트를 어떻게 효과적으로 처리할 수 있을까?
• RQ2 어떤 Transformer 아키텍처와 어텐션 전략이 계산/메모리 비용을 수용하면서 가장 잘 컨텍스트를 확장할 수 있을까?
• RQ3 긴 문서에서 장기 의존성, 문장 간 관계, 담화 구조를 포착하도록 모델을 어떻게 적응시켜야 할까?
• RQ4 Transformer를 이용한 긴 텍스트 모델링의 일반적인 응용 및 잠재적 향후 방향은 무엇인가?

주요 결과

• 절단은 잘라진 부분에 중요한 정보가 포함되어 있을 때 강력한 기준점이 될 수 있지만 정보 손실의 위험이 있습니다.
• 청크화는 전체 내용을 보존하지만 세그먼트 간의 장거리 의존성을 깨뜨릴 수 있습니다; 컨텍스트 융합 전략이 필수적입니다.
• 콘텐츠 선택은 입력 크기를 줄이지만 검색기의 품질에 의존하고 단계들을 일치시키기 위해 공동 학습이나 RL 기반 학습이 필요할 수 있습니다.
• 효율적인 어텐션 변형과 메모리 기반 순환 트랜스포머는 속도, 메모리, 정확도 간의 다양한 트레이드오프를 가지고 컨텍스트를 확장합니다.
• 사전 학습과 특화된 목표(문장 단위, 문서 단위)는 표준 MLM를 넘어 긴 텍스트 표현을 향상시킵니다.
• 그래프 기반 및 계층적 접근은 긴 문서에서 문장 간 관계와 담화 구조를 효과적으로 모델링합니다.