[論文レビュー] Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data

Jaromír Šavelka, Hannes Westermann+1 more|arXiv (Cornell University)|Dec 14, 2021

Artificial Intelligence in Law被引用数 9

ひとこと要約

本論文は、異なる管轄区と法的分野の判例データセット（それぞれ独自のタイプシステムで修飾された修辞的役割をラベル付け）を用いて事前学習されたトランスフォーマー（例：RoBERTa）を微調整することで、法的NLPにおけるクロスドメイン一般化と知識移譲を調査している。ドメインや語彙の違いがあるにもかかわらず、1つのデータセットで微調整されたモデルは他のデータセットにも効果的に一般化し、RoBERTaは未学習のデータセットで最大F1スコア0.93を達成し、学習済みデータの組み合わせによっても強力な移譲可能性と耐性を示している。

ABSTRACT

We analyze the ability of pre-trained language models to transfer knowledge among datasets annotated with different type systems and to generalize beyond the domain and dataset they were trained on. We create a meta task, over multiple datasets focused on the prediction of rhetorical roles. Prediction of the rhetorical role a sentence plays in a case decision is an important and often studied task in AI & Law. Typically, it requires the annotation of a large number of sentences to train a model, which can be time-consuming and expensive. Further, the application of the models is restrained to the same dataset it was trained on. We fine-tune language models and evaluate their performance across datasets, to investigate the models' ability to generalize across domains. Our results suggest that the approach could be helpful in overcoming the cold-start problem in active or interactvie learning, and shows the ability of the models to generalize across datasets and domains.

研究の動機と目的

• 事前学習された言語モデルが、異なる法的ドメインや管轄区間で知識を一般化できるかどうかを評価すること。
• 1つのデータセットで学習したモデルが、異なるタイプシステムと法的文脈を持つ別のデータセットでも良好に機能するかどうかを評価すること。
• 複数のデータセットからのデータを組み合わせることで、モデルの耐性とパフォーマンスが向上するかどうかを調査すること。
• BERT/RoBERTaモデルの一般化能力を、従来のSVMと比較すること。
• アクティブまたはインタラクティブな学習における法的NLPのコールドスタート問題を解決するために、転移学習を用いる可能性を検討すること。

提案手法

• 異なる国と法的分野の3つの異なる法的データセット（それぞれ独自のタイプシステムで修辞的役割をラベル付け）を用いて、RoBERTaとSVMモデルを微調整すること。
• すべてのデータセットを共通のメタタイプシステムに再定式化することで、データセット間の評価とモデル比較を可能にすること。
• 個々のデータセットと、複数のデータセットを組み合わせたプール済みデータセットを用いてモデルを学習し、移譲性能を評価すること。
• 各データセットのテストセットにおけるF1スコアを用いてモデルのパフォーマンスを評価し、ゼロショット予測（ターゲットドメインの訓練データなし）を含めること。
• すべてのクロスドメインおよびマルチドメイン設定において、RoBERTa（事前学習済みトランスフォーマー）とSVM（従来の機械学習分類器）のパフォーマンスを比較すること。
• ゼロショットおよびフェイシュート一般化に焦点を当て、モデルとデータセット間で公平な比較が行えるよう標準化された評価プロトコルを用いること。

実験結果

リサーチクエスチョン

• RQ1 1つの法的データセットで微調整されたモデルが、異なる管轄区と法的分野の別のデータセットに対しても効果的に一般化できるか？
• RQ2 RoBERTaモデルは、事前学習された言語理解のおかげで、従来のSVMよりもクロスドメイン一般化において優れているか？
• RQ3 複数のデータセットで学習させることで、未学習のドメインにおけるモデルの耐性とパフォーマンスが向上するか？
• RQ4 修辞的役割ラベル付けに用いられる異なるタイプシステムを、どの程度統合することで、データセット間での転移学習を可能にすることができるか？
• RQ5 1つのデータセットからの知識移譲が、リソースが限られた法的NLP環境におけるアクティブまたはインタラクティブな学習をブートストラップするのに役立つのか？

主な発見

• RoBERTaモデルは、CBデータセットでのみ学習した後、BVAデータセットでの予測でF1スコア0.93を達成し、ドメイン間での強力なゼロショット一般化を示している。
• CBとISCの両方のデータセットでRoBERTaを学習させた結果、BVAでのパフォーマンス（F1 = 0.85）が、単独で学習させた場合（CB：0.84、ISC：0.67）よりも向上した。
• SVMモデルはドメイン外予測において顕著に低いパフォーマンスを示し、未学習のデータセットではF1スコアが0.41まで低下した。これは、その一般化能力の限界を示している。
• 複数のデータセットからのプール済みデータで学習したモデルは、元のドメインでは高いパフォーマンスを維持しながらも、訓練されていないターゲットドメインでもパフォーマンスが向上しており、耐性の向上を示している。
• 特定のクロスドメイン予測において、RoBERTaモデルはSVMモデルよりもF1スコアで最大0.50も優れており、ドメイン固有の語彙を超えた優れた意味的抽象化能力を示している。
• 結果から、タイプシステム、管轄区、法的分野の違いがあるにもかかわらず、修辞的役割分類というタスク自体が十分に類似しているため、事前学習トランスフォーマーを用いた効果的な転移学習が可能であることが確認された。