[논문 리뷰] Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT

Aman Jaiswal, Evangelos Milios|arXiv (Cornell University)|2023. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 입력 시퀀스를 더 짧은 세그먼트로 나누어 BERT를 장문 분류에 확장하는 간단하면서도 효과적인 방법인 ChunkBERT를 제안한다. BERT로 각 세그먼트를 처리하고, TextCNN 레이어를 통해 표현을 통합함으로써, 원래 메모리 사용량의 6.25%로만 메모리를 사용하면서도 임의의 길이의 텍스트에 대해 추론이 가능하다. 이 방법은 장문 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 LongFormer보다 평균 5.7% 높고, 복잡한 데이터셋에서는 18% 높은 성능을 기록한다.

ABSTRACT

Transformer-based models, specifically BERT, have propelled research in various NLP tasks. However, these models are limited to a maximum token limit of 512 tokens. Consequently, this makes it non-trivial to apply it in a practical setting with long input. Various complex methods have claimed to overcome this limit, but recent research questions the efficacy of these models across different classification tasks. These complex architectures evaluated on carefully curated long datasets perform at par or worse than simple baselines. In this work, we propose a relatively simple extension to vanilla BERT architecture called ChunkBERT that allows finetuning of any pretrained models to perform inference on arbitrarily long text. The proposed method is based on chunking token representations and CNN layers, making it compatible with any pre-trained BERT. We evaluate chunkBERT exclusively on a benchmark for comparing long-text classification models across a variety of tasks (including binary classification, multi-class classification, and multi-label classification). A BERT model finetuned using the ChunkBERT method performs consistently across long samples in the benchmark while utilizing only a fraction (6.25\%) of the original memory footprint. These findings suggest that efficient finetuning and inference can be achieved through simple modifications to pre-trained BERT models.

연구 동기 및 목표

• BERT의 512토큰 제한으로 인해 실제 장문 텍스트 응용에서의 사용이 제한되는 문제를 해결하기 위해.
• 사용자 정의 CUDA 커널이 필요 없이, 사전 훈련된 BERT 모델을 임의의 긴 입력에 대해 미세조정할 수 있는 단순하고 메모리 효율적인 방법을 개발하기 위해.
• 이원화된 장문 분류 벤치마크에서 이진, 다중 클래스, 다중 레이블 분류를 포함한 여러 작업에 대해 방법을 평가하기 위해.
• 복잡한 모델에 비해 단순한 아키텍처 확장도 장문 분류 과제에서 슈퍼리오어 성능을 낼 수 있음을 보여주어, 모델 복잡성에 대한 기존의 가정을 도전하기 위해.
• 무작위 또는 히우리스틱적 잘라내기의 체계적인 대안을 제공하여 장문 문서의 핵심 정보를 유지하기 위함이다.

제안 방법

• 입력 텍스트가 고정 크기의 청크(예: 128토큰)로 나뉘어 BERT의 512토큰 제한을 우회한다.
• 각 청크가 사전 훈련된 BERT 모델을 통해 독립적으로 인코딩되어 맥락 기반 토큰 표현을 생성한다.
• 각 청크의 표현에 TextCNN 레이어를 적용하여 국소적이고 계층적인 특징을 추출하고 차원을 감소시킨다.
• 모든 청크의 출력이 연결되어 최종 분류기 헤드를 통해 다운스트림 분류 작업에 전달된다.
• 이 방법은 입력 길이에 따라 선형적으로 확장되며, 추론 시에 임의의 길이의 입력을 지원한다.
• 미세조정은 표준 GPU 하드웨어에서 수행되며, 청크 기반 처리 덕분에 메모리 사용량이 16배 줄어들어 원래의 6.25%로 감소한다.

Figure 1: Overview of BERT Input chunking. First, the complete input $(T)$ is tokenized using the BERT tokenizer and split into chunks of size $(C)$ e.g, 128 tokens each. The input chunks are independently processed by BERT and produce token embeddings for each chunk of size $(C\times 768)$ . Here,

실험 결과

연구 질문

• RQ1 BERT에 단순한 청크화와 컨볼루션 기반 확장을 도입했을 때, 복잡한 장문 맥락 모델보다 장문 분류 과제에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 표준 BERT 미세조정 대비 메모리 사용량을 크게 줄였을 때도 성능이 높게 유지되는가?
• RQ3 LongFormer과 같은 강력한 베이스라인 및 최신 기술 수준 모델 대비 ChunkBERT의 성능은 어떻게 되는가?
• RQ4 이 방법은 이진, 다중 클래스, 다중 레이블 설정을 포함한 다양한 장문 분류 과제에 일반화되는가?
• RQ5 핵심 콘텐츠가 표준 512토큰 맥락 창을 초월한 경우에도 이 방법이 효과적으로 핵심 정보를 포착할 수 있는가?

주요 결과

• ChunkBERT는 장문 분류 벤치마크 전반에서 LongFormer보다 평균 5.7% 높은 성능을 기록했으며, 복잡한 데이터셋에서는 18% 높은 성능을 보였다.
• 강력한 베이스라인인 핵심 문장 선택 및 무작위 잘라내기 대비, 특히 테스트 세트의 장문 샘플에서 뛰어난 성능을 보였다.
• 메모리 사용량이 원래 BERT 메모리 사용량의 6.25%로 줄어들어 표준 GPU에서 훈련 및 추론이 가능해졌다.
• 이중, 다중 클래스, 다중 레이블 분류를 포함한 다양한 과제에서 일관된 성능을 유지하여 강건성을 입증했다.
• 훈련 시 사용한 크기보다 청크 크기를 증가시킬 경우 성능 저하가 발생함을 확인하여, 청크 크기의 외삽에는 주의가 필요함을 시사했다.
• 핵심 정보가 끝부분에 위치한 Inverted-Eurlex에서는 ChunkBERT가 성능 향상을 보여, 비국소적 핵심 콘텐츠를 효과적으로 포착할 수 있음을 입증했다.

Figure 2: Chunk Attention Mask: illustration of chunk attention for the complete input $T$ . The space complexity becomes $O(nC^{2})$ , where $n$ is number of chunks and $C$ is the chunk-size.