[논문 리뷰] Fine-Tuning Language Models via Epistemic Neural Networks

Ian Osband, Seyed Mohammad Asghari외 4명|arXiv (Cornell University)|2022. 11. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BERT와 같은 대규모 언어 모델에 에피넷(epinet)을 추가하여 에피스테믹 불확실성(epistemic uncertainty)을 추정하고, 미세조정 중에 정보성 훈련 예제를 우선순위화함으로써 성능을 향상시키는 방법을 제안한다. 불확실성 기반의 능동 학습(active learning)을 통해 이 방법은 GLUE 벤치마크에서 표준 미세조정 대비 2배 적은 레이블이 필요한 경우에도 BERT의 최고 성능을 달성하며, 최종 정확도 또한 표준 미세조정보다 향상시킨다.

ABSTRACT

Language models often pre-train on large unsupervised text corpora, then fine-tune on additional task-specific data. However, typical fine-tuning schemes do not prioritize the examples that they tune on. We show that, if you can prioritize informative training data, you can achieve better performance while using fewer labels. To do this we augment a language model with an epinet: a small additional network that helps to estimate model uncertainty and forms an extit{epistemic neural network} (ENN). ENNs are neural networks that can know what they don't know. Using an epinet to prioritize uncertain data, we can fine-tune BERT on GLUE tasks to the same performance while using 2x less data than training without prioritization. We also investigate performance in synthetic neural network generative models designed to build understanding. In each setting, using an epinet outperforms heuristic active learning schemes.

연구 동기 및 목표

• 정보성 훈련 예제를 우선순위화함으로써 대규모 언어 모델의 미세조정에서 데이터 효율성을 향상시키기 위해.
• 표준 미세조정의 한계를 해결하기 위해, 모든 훈련 데이터를 동일하게 취급하지만 불확실성을 고려하지 않는 점을 해결하기 위해.
• 학습 가능한 에피넷을 통해 에피스테믹 불확실성을 추정함으로써 언어 모델이 '자신이 모른다'는 것을 아는 능력을 갖추기 위해.
• 에피스테믹 우선순위 지정이 엔트로피나 마진 기반 선택과 같은 히وري스틱 능동 학습 방법보다 우수한 성능을 내는지 입증하기 위해.
• 에피넷이 추가된 모델이 기준 미세조정 대비 더 높은 최종 성능과 더 낮은 데이터 요구량을 달성하는지 보여주기 위해.

제안 방법

• 기본 언어 모델과 함께 훈련되는 에피넷을 통해 에피스테믹 불확실성을 추정하며, 이는 앨레아토릭 불확실성과의 차이를 명확히 한다.
• 에피넷은 분산(variance) 또는 BALD (Bayesian Active Learning by Disagreement)를 불확실성 지표로 사용하여 불확실하고 정보성 있는 예제를 우선순위로 지정한다.
• 미세조정 중에 모델은 에피스테믹 불확실성에 기반해 훈련 데이터를 선택하며, 이는 모델이 가장 자신감이 없어지는 예제에 집중하는 방식이다.
• 에피넷은 몬테카를로 드롭아웃과 모델 앙상블을 조합하여 불확실성 추정을 향상시키기 위해 훈련된다.
• 이 방법은 GLUE 벤치마크 작업에 대해 BERT에 적용되었으며, 합성 신경망 생성 모델(Neural Testbed)을 통해 검증되었다.
• 성능 평가 시 데이터 효율성—기준 성능에 도달하기 위해 필요한 레이블 수—을 측정하였으며, 이는 작업 간 기하 평균을 사용하였다.

실험 결과

연구 질문

• RQ1 에피넷을 통한 에피스테믹 불확실성 추정이 대규모 언어 모델의 미세조정에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 에피스테믹 불확실성에 기반해 불확실한 예제를 우선순위로 지정하면, 히وري스틱 능동 학습 방법보다 더 적은 레이블로 더 나은 성능을 낼 수 있는가?
• RQ3 에피넷은 앙상블 기반 또는 드롭아웃 기반의 불확실성 추정과 비교해 데이터 효율성과 계산 비용 측면에서 어떻게 다른가?
• RQ4 에피스테믹 우선순위 지정은 샘플 효율성 뿐 아니라 최종 모델 정확도 향상에도 기여하는가?
• RQ5 에피넷의 이점은 불확실성 추정 때문인가, 아니면 단지 추가된 네트워크 용량 때문인가?

주요 결과

• GLUE 벤치마크 작업에서, 에피스테믹 우선순위 지정을 통한 BERT 미세조정은 표준 미세조정과 동일한 성능을 2배 적은 레이블로 달성한다.
• 에피넷 기반 방법은 더 적은 데이터를 사용함에도 불구하고 기준 성능을 초월하는 최종 모델 정확도를 달성한다.
• 에피스테믹 우선순위 지정은 엔트로피나 마진 기반 선택과 같은 히وري스틱 방법보다 뛰어나며, MNLI 및 기타 작업에서 기준 성능을 도달하지 못하는 것을 확인할 수 있다.
• 균일한 데이터 선택을 사용한 에피넷은 에피스테믹 우선순위 지정보다 유의미하게 성능이 열 劣하므로, 이는 불확실성 기반 선택에서 비롯된 이점이며 단순한 아키텍처의 영향이 아님을 입증한다.
• 앙상블 및 드롭아웃 기반의 불확실성 추정도 데이터 효율성을 향상시키지만, 경량 에피넷보다 높은 계산 비용을 수반한다.
• 분산과 BALD를 불확실성 지표로 사용할 경우 성능 향상에 미치는 영향은 미미하며, 두 방법 모두 유사한 성능 향상을 보인다.