[論文レビュー] Billions of Parameters Are Worth More Than In-domain Training Data: A case study in the Legal Case Entailment Task

Guilherme Moraes Rosa, Luiz Bonifacio+4 more|arXiv (Cornell University)|May 30, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、ゼロショット言語モデルを30億パラメータにスケーリングすることで、法律的ケース帰属タスクにおける性能が顕著に向上することを示している。これは、COLIEE 2022 コンペティションにおけるすべての微調整済みモデルおよびアンサンブルを上回る結果を達成した。著者らは、ドメイン特化した微調整がなくても、より大きなモデルがより良い一般化性能を示すことを示し、リソースが限られた法律的NLP環境において、モデルスケールがドメイン特化データよりも優位であることを強調している。

ABSTRACT

Recent work has shown that language models scaled to billions of parameters, such as GPT-3, perform remarkably well in zero-shot and few-shot scenarios. In this work, we experiment with zero-shot models in the legal case entailment task of the COLIEE 2022 competition. Our experiments show that scaling the number of parameters in a language model improves the F1 score of our previous zero-shot result by more than 6 points, suggesting that stronger zero-shot capability may be a characteristic of larger models, at least for this task. Our 3B-parameter zero-shot model outperforms all models, including ensembles, in the COLIEE 2021 test set and also achieves the best performance of a single model in the COLIEE 2022 competition, second only to the ensemble composed of the 3B model itself and a smaller version of the same model. Despite the challenges posed by large language models, mainly due to latency constraints in real-time applications, we provide a demonstration of our zero-shot monoT5-3b model being used in production as a search engine, including for legal documents. The code for our submission and the demo of our system are available at https://github.com/neuralmind-ai/coliee and https://neuralsearchx.neuralmind.ai, respectively.

研究の動機と目的

• ドメイン特化した微調整なしに、大規模言語モデルのスケーリングが法律的ケース帰属タスクにおけるゼロショット性能を向上させるかどうかを調査すること。
• リソースが限られた法律的NLPシナリオにおいて、数十億パラメータのモデルがより小さなモデルよりも一般化性能に優れているかどうかを評価すること。
• ゼロショットモノT5-3Bモデルを生産環境にデプロイ可能であることを実証すること。
• さまざまなモデルサイズにおけるゼロショット性能を比較し、法律的帰属タスクに最適なアーキテクチャを同定すること。
• ヒューリスティックな回答選択法が、ゼロショット設定における最終予測品質に与える影響を評価すること。

提案手法

• 著者らは、法律的ケース帰属データセットに対して微調整を行わず、ゼロショットT5ベースのモデル（monoT5）を用いる。
• 3つのモデルサイズ（base：220M、large：770M、3Bパラメータ：monoT5-3b）を用い、すべてゼロショット設定で実験を行う。
• 信頼度に基づく回答選択法を適用し、ハイパーパramータ α, β, γ を用いた重み付きスコアルールで複数モデルの予測を統合する。
• 2つのモデルからの回答を連結し、重複を除去した後、信頼度のしきい値に基づいてスコアが最も高い回答を選択する。
• monoT5-base と monoT5-3b の出力を組み合わせたアンサンブル予測により、耐性と性能が向上する。
• システムは生産環境で法的文書検索エンジンとしてデプロイされ、レイテンシ制約があるものの、実世界での実現可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 数十億パラメータにスケーリングされた言語モデルは、より小さなモデルと比較して、法律的ケース帰属タスクにおけるゼロショット性能を向上させるか？
• RQ2 ラベル付きデータが限られる状況において、ゼロショットモデルが微調整済みモデルを上回る性能を示せるか、特に法律分野において？
• RQ3 モデルサイズが、とりわけリソースが限られた状況におけるゼロショット法律的NLPタスクの一般化性能に与える影響はいかほどか？
• RQ4 ヒューリスティックな回答選択法は、ゼロショット予測品質をどの程度向上させるか？
• RQ5 大規模なゼロショットモデルを、実世界の法的検索アプリケーションに効果的にデプロイできるか？

主な発見

• monoT5-3b-ゼロショットモデルは、COLIEE 2021 テストセットでF1スコア0.7477を達成し、2022年のコンペティションにおけるすべての単一モデルおよびアンサンブルを上回った。
• 3Bパラメータのモデルは、著者らの以前のゼロショット結果と比較して、F1スコアを6ポイント以上向上させ、スケールの利点を裏付けた。
• monoT5-base と monoT5-3b のアンサンブルは、2022年テストセットで最高のF1スコア0.6783を記録し、すべての提出物の中で1位となった。
• 回答選択法により、すべてのモデルでF1スコアが1ポイント以上向上した。特に3Bモデルで最大の向上（0.7373 → 0.7477）を示した。
• 性能向上が見られたにもかかわらず、3Bモデルはより大きなT5-largeモデルを上回った。これは、一部の設定においてサイズに伴う性能向上が非単調である可能性を示唆している。
• ゼロショットmonoT5-3bモデルは、生産環境で法的検索エンジンとして成功裏にデプロイされ、実世界応用の妥当性が裏付けられた。