[論文レビュー] Large Scale Legal Text Classification Using Transformer Models

Zein Shaheen, Gerhard Wohlgenannt+1 more|arXiv (Cornell University)|Oct 24, 2020

Natural Language Processing Techniques参考文献 32被引用数 10

ひとこと要約

本稿では、JRC-AcquisおよびEURLEX57Kデータセット上で、BERT、RoBERTa、DistilBERT、XLNet、および多言語Bertを用いた、ファインチューニングされたトランスフォーマー基盤のアプローチを提案する。長期間にわたるラベル分布を有する大規模な法的テキスト分類において、言語モデルのファインチューニング、段階的アンフリークジング、反復的ストラティフィケーションによる標準化されたデータ分割といった戦略を用いることで、それぞれのデータセットで新記録のマイクロ-F1スコア0.661および0.754を達成した。

ABSTRACT

Large multi-label text classification is a challenging Natural Language Processing (NLP) problem that is concerned with text classification for datasets with thousands of labels. We tackle this problem in the legal domain, where datasets, such as JRC-Acquis and EURLEX57K labeled with the EuroVoc vocabulary were created within the legal information systems of the European Union. The EuroVoc taxonomy includes around 7000 concepts. In this work, we study the performance of various recent transformer-based models in combination with strategies such as generative pretraining, gradual unfreezing and discriminative learning rates in order to reach competitive classification performance, and present new state-of-the-art results of 0.661 (F1) for JRC-Acquis and 0.754 for EURLEX57K. Furthermore, we quantify the impact of individual steps, such as language model fine-tuning or gradual unfreezing in an ablation study, and provide reference dataset splits created with an iterative stratification algorithm.

研究の動機と目的

• 長尾ラベル分布を有する大規模なマルチラベルテキスト分類（LMTC）における法的分野の最先端性能を向上させること。
• 数千のラベルを有する法的テキストにおいて、最近のトランスフォーマーモデル（BERT、RoBERTa、DistilBERT、XLNet、多言語Bert）の有効性を評価すること。
• 反復的ストラティフィケーションを用いて、将来の研究における公平な比較を可能にする、標準化され再現可能なデータ分割を確立すること。
• 言語モデルのファインチューニング、段階的アンフリークジング、特徴的学習率といったトレーニング戦略の影響を定量化すること。
• EuroVocの階層的構造を活用してラベルセットを縮小し、分類性能を向上させること。

提案手法

• JRC-AcquisおよびEURLEX57Kの法的テキストに対して、ドメイン固有のファインチューニングを用いて、複数のトランスフォーマーモデル（BERT、RoBERTa、DistilBERT、XLNet、多言語Bert）をファインチューニングした。
• ターゲット法的テキストにおける言語モデルのファインチューニング、ネットワーク層のグループごとの段階的アンフリークジング、スランテッドトライアングル学習率を含むトレーニング戦略を適用した。
• 両データセットの再現性と公平な比較を保証するため、反復的ストラティフィケーションを用いて標準化されバランスの取れた訓練/検証/テスト分割を生成した。
• EuroVocの分類体系における意味的関係を活用して、ラベルセットの縮小（例：上位語、マイクロセオラス、分野）を実現し、分類性能の向上を図った。
• 各トレーニング戦略およびハイパーパrameterの貢献度を分離するためのアブレーションスタディを実施した。
• 主にマイクロ-F1を評価指標として用い、計算効率分析のため標準CPU上での推論時間を測定した。

実験結果

リサーチクエスチョン

• RQ1 長尾ラベル分布を有する大規模な法的テキスト分類において、トランスフォーマーベースのモデルはどのように性能を発揮するか？
• RQ2 言語モデルのファインチューニングおよび段階的アンフリークジングは、数千のラベルを有する法的テキスト分類において、性能にどのような影響を与えるか？
• RQ3 反復的ストラティフィケーションは、ランダム分割と比較して、法的テキスト分類においてより信頼性が高く比較可能なデータ分割を生成できるか？
• RQ4 EuroVocの階層的構造を用いてラベル空間を縮小し、分類精度を向上させることはどの程度可能か？
• RQ5 このLMTC設定において、さまざまなトランスフォーマーアーキテクチャ間で、計算コストおよび推論時間はどのように変化するか？

主な発見

• 提案手法は、JRC-Acquisデータセットで新記録のマイクロ-F1スコア0.661、EURLEX57Kデータセットで0.754を達成した。
• RoBERTaおよびDistilBERTはほとんどの設定でBERTを上回り、特にDistilBERTは低い計算コストで優れた性能を示した。
• 言語モデルのファインチューニングおよび段階的アンフリークジングは、高い性能を達成するために不可欠であり、アブレーションスタディによりその顕著な正の影響が確認された。
• DistilBERTは最も短い推論時間（12 ms/例）を記録した一方、XLNetは最も長かった（77 ms/例）、精度と効率のトレードオフが顕著に現れた。
• EuroVocの階層構造から導出されたラベルセットの縮小は、分類スコアの向上に寄与し、意味的構造を活用する価値を示した。
• 多言語Bertは初期段階で有望な結果を示し、今後の多言語事前学習および並列コーパスを用いた研究の可能性を示唆した。