[논문 리뷰] Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review

Eugene Yang, Sean MacAvaney외 2명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 높은 재현율 검색 작업에서 기술 지원 검토(TAR)를 위한 미세조정된 BERT를 평가하며, 적절한 언어 모델(LM) 미세조정—너무 적게도 아니고 너무 많이도 아닌—이 성능에 매우 중요하다는 것을 입증한다. 놀랍게도 BERT는 도메인 내 RCV1-v2 데이터에서는 검토 비용을 10–15% 감소시키지만, 도메인 외부의 법적 이메일 데이터에서는 선형 모델보다 성능이 열 劣하다. 이는 도메인 일치성과 최적의 미세조정이 모델 아키텍처 자체보다 더 중요하다는 것을 시사한다.

ABSTRACT

Technology-assisted review (TAR) refers to iterative active learning workflows for document review in high recall retrieval (HRR) tasks. TAR research and most commercial TAR software have applied linear models such as logistic regression to lexical features. Transformer-based models with supervised tuning are known to improve effectiveness on many text classification tasks, suggesting their use in TAR. We indeed find that the pre-trained BERT model reduces review cost by 10% to 15% in TAR workflows simulated on the RCV1-v2 newswire collection. In contrast, we likewise determined that linear models outperform BERT for simulated legal discovery topics on the Jeb Bush e-mail collection. This suggests the match between transformer pre-training corpora and the task domain is of greater significance than generally appreciated. Additionally, we show that just-right language model fine-tuning on the task collection before starting active learning is critical. Too little or too much fine-tuning hinders performance, worse than that of linear models, even for a favorable corpus such as RCV1-v2.

연구 동기 및 목표

• 반복적인 액티브 러닝 설정에서 기술 지원 검토(TAR) 워크플로우에 미세조정된 BERT의 효과성을 평가하는 것.
• 언어 모델 미세조정의 정도가 높은 재현율 검색 작업에서의 성능에 어떻게 영향을 미치는지 조사하는 것.
• 로지스틱 회귀와 같은 전통적인 선형 모델과 비교하여 BERT 기반 모델의 검토 비용과 효과성에 대해 평가하는 것.
• 장기간 반복적인 프로세스를 수반하는 실제 TAR 애플리케이션에서 BERT의 계산적 오버헤드를 측정하는 것.
• BERT가 높은 학습 및 추론 비용에도 불구하고 비용상의 이점이 있는 조건을 특정하는 것.

제안 방법

• 사용자 작업에 특화된 레이블이 없는 코퍼스를 사용해 마스킹된 언어 모델링을 통해 BERT를 미세조정하고, 다양한 수의 미세조정 에포크를 적용한다.
• 각 TAR 실행을 단일 양성 예시로 시작하고, 불확실성 샘플링과 관련성 피드백을 사용해 반복적인 액티브 러닝을 수행한다.
• 여러 주제와 콜렉션을 대상으로 검토 비용(검토한 문서 수)을 주요 지표로 사용해 모델 성능을 평가한다.
• 동일한 액티브 러닝 프rotocol를 사용해 어휘적 및 메타데이터 특징에 기반한 로지스틱 회귀 모델과 BERT를 비교한다.
• 여러 반복 동안 LM 미세조정 및 문서 점수 산정 시간을 포함한 계산 비용을 측정한다.
• 도메인 내 및 도메인 외부 테스트를 위해 두 개의 데이터셋을 사용: RCV1-v2(도메인 내) 및 제브 부시 이메일 콜렉션(도메인 외부), 도메인 민감도 평가.

실험 결과

연구 질문

• RQ1 반복적인 액티브 러닝이 포함된 TAR 워크플로우에서 미세조정된 BERT가 전통적인 선형 모델보다 우수한가?
• RQ2 BERT의 TAR에서 최적의 언어 모델 미세조정 정도는 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ3 BERT의 사전학습 코퍼스와 작업 콜렉션 간의 도메인 불일치가 모델 성능에 어떤 영향을 미치는가?
• RQ4 BERT의 사용에 따른 계산 비용은 얼마이며, 그 성과의 미세한 향상에 비해 정당한가?
• RQ5 다른 샘플링 전략(불확실성 대비 관련성 피드백)이 BERT의 미세조정과 작업 특성과 어떻게 상호작용하는가?

주요 결과

• 최적의 에포크 수로 미세조정된 BERT는 도메인 내 RCV1-v2 콜렉션에서 로지스틱 회귀 모델보다 검토 비용을 10–15% 감소시켰다.
• 도메인 외부인 제브 부시 이메일 콜렉션에서는 BERT가 미세조정 후에도 선형 모델보다 열 劣했으며, 이는 도메인 불일치가 효과성에 심각한 영향을 미친다는 것을 시사한다.
• 너무 적거나 너무 많은 언어 모델 미세조정은 BERT 성능을 떨어뜨리며, 극단적인 경우에서 가장 열 劣한 결과를 보였고, 이는 '골드릴록스' 영역(적절한 범위)이 존재함을 시사한다.
• BERT의 계산 비용은 매우 높았으며, 평균적으로 각 런에 18시간(1100분)이 소요되었고, 점수 산정 반복당 40분이 걸려 소규모 프로젝트에는 실용적이지 않았다.
• 특히 어려운 항목과 희귀 항목에서, 검토 비용의 추세는 미세조정 에포크 수에 따라 크게 달라졌으며, 주제 간에 통합된 최적 설정이 존재하지 않음을 시사한다.
• 미세한 성능 향상에도 불구하고 BERT의 높은 계산 오버헤드는 많은 실제 TAR 응용 프로그램에서의 도입을 막을 수 있으며, 특히 모델을 한 번만 사용하는 경우에 더욱 그렇다.