[논문 리뷰] Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data

Jaromír Šavelka, Hannes Westermann외 1명|arXiv (Cornell University)|2021. 12. 14.

Artificial Intelligence in Law인용 수 9

한 줄 요약

이 논문은 다양한 법령 분야와 법적 체계에서 사전에 훈련된 트랜스포머(예: RoBERTa)를 미세조정하여 법적 자연어처리(NLP)에서의 다중 도메인 일반화 및 지식 전이를 조사한다. 각기 다른 법령 체계에서 수집된 세 개의 케이스 라이선스 데이터셋은 고유한 유형 체계를 사용해 비판적 역할이 주어졌다. 도메인과 어휘의 차이가 있음에도 불구하고, 한 데이터셋에서 미세조정된 모델은 다른 데이터셋으로도 효과적으로 일반화되며, RoBERTa 모델은 미사용 데이터셋에서 최대 F1 점수 0.93를 기록하여 훈련된 풀 데이터 기반에서 강력한 전이 가능성과 내구성을 입증하였다.

ABSTRACT

We analyze the ability of pre-trained language models to transfer knowledge among datasets annotated with different type systems and to generalize beyond the domain and dataset they were trained on. We create a meta task, over multiple datasets focused on the prediction of rhetorical roles. Prediction of the rhetorical role a sentence plays in a case decision is an important and often studied task in AI & Law. Typically, it requires the annotation of a large number of sentences to train a model, which can be time-consuming and expensive. Further, the application of the models is restrained to the same dataset it was trained on. We fine-tune language models and evaluate their performance across datasets, to investigate the models' ability to generalize across domains. Our results suggest that the approach could be helpful in overcoming the cold-start problem in active or interactvie learning, and shows the ability of the models to generalize across datasets and domains.

연구 동기 및 목표

• 사전에 훈련된 언어 모델이 서로 다른 법적 도메인과 법령 체계 간에 지식을 일반화할 수 있는지 평가하는 것.
• 한 데이터셋에서 훈련된 모델이 다른 유형 체계와 법적 맥락을 가진 다른 데이터셋에서도 잘 수행될 수 있는지 평가하는 것.
• 다양한 데이터셋의 데이터를 결합함으로써 모델의 내구성과 성능 향상 여부를 조사하는 것.
• 법적 텍스트 분류에서 BERT/RoBERTa 모델의 일반화 능력과 기존의 SVM 모델을 비교하는 것.
• 법적 NLP에서 활성 또는 상호작용 학습의 콜드 스타트 문제를 해결하기 위해 전이 학습을 활용할 수 있는지 탐색하는 것.

제안 방법

• 세 개의 서로 다른 국가와 법적 도메인에서 수집된 세 개의 독립적인 법적 데이터셋에 대해 RoBERTa 및 SVM 모델을 미세조정하며, 각각 고유한 유형 체계를 사용해 비판적 역할이 주어졌다.
• 모든 데이터셋을 통합된 메타유형 체계로 재구성하여 다중 데이터셋 평가 및 모델 비교를 가능하게 하였다.
• 개별 데이터셋과 데이터셋의 병합 조합에서 모델을 훈련하여 전이 성능를 평가하였다.
• 각 데이터셋의 테스트 세트에서 F1 점수를 사용해 모델 성능을 평가하였으며, 특히 훈련 데이터가 없는 타겟 도메인에 대한 제로샷 예측도 포함하였다.
• 모든 다중 도메인 및 다중 데이터셋 설정에서 RoBERTa(사전에 훈련된 트랜스포머)와 SVM(기존의 기계학습 분류기)의 성능을 비교하였다.
• 표준화된 평가 프로토콜을 사용하여 모든 모델과 데이터셋 간의 공정한 비교를 확보하였으며, 제로샷 및 피어샷 일반화에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 한 법적 데이터셋에서 미세조정된 모델이 다른 법령 체계와 법적 도메인을 가진 다른 데이터셋으로 효과적으로 일반화될 수 있는가?
• RQ2 RoBERTa 모델이 사전에 훈련된 언어 이해 능력을 바탕으로 기존의 SVM보다 다중 도메인 일반화에서 뛰어난 성능을 보일 수 있는가?
• RQ3 여러 데이터셋에서 훈련하면 새로운 도메인에서의 모델 내구성과 성능 향상이 이루어지는가?
• RQ4 비판적 역할 주석에 사용된 서로 다른 유형 체계를 얼마나 잘 통합하여 데이터셋 간 전이 학습을 가능하게 할 수 있는가?
• RQ5 한 데이터셋에서의 지식 전이가 자원이 제한된 법적 NLP 환경에서 활성 또는 상호작용 학습을 부트스트랩하는 데 기여할 수 있는가?

주요 결과

• RoBERTa 모델은 CB 데이터셋에서만 훈련된 후 BVA 데이터셋에서 예측을 수행했을 때 F1 점수 0.93를 기록하여 도메인 간 강력한 제로샷 일반화 능력을 입증하였다.
• CB 및 ISC 데이터셋에서 동시에 RoBERTa를 훈련시킨 결과, BVA에서 F1 점수 0.85를 기록하였으며, 각각의 데이터셋에서만 훈련시킨 경우(_CB: 0.84, ISC: 0.67)보다 성능이 향상되었다.
• SVM 모델은 도메인 외 예측에서 상당히 낮은 성능을 보였으며, 미사용 데이터셋에서 F1 점수가 최소 0.41까지 떨어져 일반화 능력의 국한성을 드러냈다.
• 다양한 데이터셋의 데이터를 병합하여 훈련한 모델은 원본 도메인에서 높은 성능를 유지하면서도, 훈련되지 않은 타겟 도메인에서도 성능 향상을 보였으며, 이는 내구성 향상을 시사하였다.
• 일부 다중 도메인 예측에서 RoBERTa 모델은 SVM 모델 대비 F1 점수 최대 0.50 포인트 높은 성능를 기록하여 도메인 특화 어휘를 초월한 우수한 의미 추상화 능력을 보였다.
• 결과적으로, 유형 체계, 법령 체계, 법적 도메인의 차이가 있음에도 불구하고, 비판적 역할 분류라는 핵심 작업은 충분히 유사하여 사전에 훈련된 트랜스포머를 사용한 효과적인 전이 학습이 가능함을 확인하였다.