[論文レビュー] Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT

Aman Jaiswal, Evangelos Milios|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、入力シーケンスを短いセグメントに分割し、BERTで処理した後、TextCNN層を用いて表現を集約することで、長文分類に向けたBERTの拡張を行うシンプルで効果的な手法であるChunkBERTを提案する。このアプローチにより、元のメモリ使用量の6.25％にまで削減されたメモリフットプリントで、任意の長さのテキストに対する推論が可能となり、長文ベンチマークにおいて最先端の性能を達成した。LongFormerを平均5.7％、複雑なデータセットでは18％上回った。

ABSTRACT

Transformer-based models, specifically BERT, have propelled research in various NLP tasks. However, these models are limited to a maximum token limit of 512 tokens. Consequently, this makes it non-trivial to apply it in a practical setting with long input. Various complex methods have claimed to overcome this limit, but recent research questions the efficacy of these models across different classification tasks. These complex architectures evaluated on carefully curated long datasets perform at par or worse than simple baselines. In this work, we propose a relatively simple extension to vanilla BERT architecture called ChunkBERT that allows finetuning of any pretrained models to perform inference on arbitrarily long text. The proposed method is based on chunking token representations and CNN layers, making it compatible with any pre-trained BERT. We evaluate chunkBERT exclusively on a benchmark for comparing long-text classification models across a variety of tasks (including binary classification, multi-class classification, and multi-label classification). A BERT model finetuned using the ChunkBERT method performs consistently across long samples in the benchmark while utilizing only a fraction (6.25\%) of the original memory footprint. These findings suggest that efficient finetuning and inference can be achieved through simple modifications to pre-trained BERT models.

研究の動機と目的

• BERTの512トークン制限が、現実世界の長文アプリケーションでの利用を制限する問題に対処すること。
• カスタムCUDAカーネルを必要とせず、任意の長さの入力で事前学習済みBERTモデルの微調整が可能な、シンプルでメモリ効率の良い手法を開発すること。
• 二値分類、多クラス分類、マルチラベル分類を含む複数のタスクにわたる統一された長文分類ベンチマーク上で、この手法を評価すること。
• 複雑なモデルに比べて、単純なアーキテクチャ拡張が長文タスクで優れた性能を示すことを示し、モデルの複雑さに関する仮定に疑問を呈すること。
• ランダムまたはヒューリスティックな切り出しとは異なり、長文ドキュメントの重要情報を保持する、体系的な代替手法を提供すること。

提案手法

• 入力テキストが固定サイズのチャンク（例：128トークン）に分割され、BERTの512トークン制限を回避する。
• 各チャンクが事前学習済みBERTモデルを用いて独立に符号化され、文脈を反映したトークン表現が生成される。
• 各チャンクの表現にTextCNN層を適用し、局所的で階層的な特徴を抽出するとともに次元削減を行う。
• すべてのチャンクからの出力を連結し、下流の分類タスク用に最終的な分類ヘッドに渡す。
• この手法は入力長に対して線形にスケーリング可能であり、推論時において任意の長さの入力をサポートする。
• 微調整は標準のGPUハードウェアで実行され、チャンク処理によりメモリ使用量が16倍（元の6.25％）に削減される。

Figure 1: Overview of BERT Input chunking. First, the complete input $(T)$ is tokenized using the BERT tokenizer and split into chunks of size $(C)$ e.g, 128 tokens each. The input chunks are independently processed by BERT and produce token embeddings for each chunk of size $(C\times 768)$ . Here,

実験結果

リサーチクエスチョン

• RQ1 BERTにシンプルなチャンキングと畳み込みベースの拡張を施すことで、複雑な長文脈モデルを凌駕できるか？
• RQ2 標準的なBERT微調整と比較して、大幅にメモリ使用量を削減しながらも高い性能を維持できるか？
• RQ3 長文ベンチマークにおいて、LongFormerなどの強力なベースラインや最先端モデルと比較して、ChunkBERTの性能はどの程度か？
• RQ4 この手法は、二値分類、多クラス分類、マルチラベル設定を含む多様な長文分類タスクに一般化可能か？
• RQ5 キーメッセージが標準的な512トークンのコンテキスト窓を超えて配置されている場合、この手法は重要情報を効果的に捉えることができるか？

主な発見

• ChunkBERTは、長文ベンチマーク全体でLongFormerを平均5.7％、複雑なデータセットでは18％上回った。
• 特にテストセットの長文サンプルにおいて、キースエンテンス選択やランダム切り出しといった強力なベースラインを上回った。
• メモリ使用量は元のBERTのメモリフットプリントのたった6.25％にまで削減され、標準GPU上でトレーニングと推論が可能になった。
• 二値分類、多クラス分類、マルチラベル分類を含む多様なタスクで一貫した性能を示し、堅牢性を確認した。
• 訓練時サイズを超えて推論時のチャンクサイズを増加させると性能が低下する傾向にあり、チャンクサイズの外挿には注意が必要であることが示唆された。
• キーアイテムが最後に位置するInverted-Eurlexでは、ChunkBERTが改善された性能を示し、非局所的な重要情報を効果的に捉えられることを示した。

Figure 2: Chunk Attention Mask: illustration of chunk attention for the complete input $T$ . The space complexity becomes $O(nC^{2})$ , where $n$ is number of chunks and $C$ is the chunk-size.