[논문 리뷰] Uncertainty Estimation for Language Reward Models

Adam Gleave, Geoffrey Irving|arXiv (Cornell University)|2022. 03. 14.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 미세조정된 사전 훈련된 모델에 대해 무작위로 초기화된 최종 레이어를 갖는 부트스트랩 앙상블을 사용하여 언어 보상 모델에서의 불확실성 추정을 조사한다. 다른 분야에서는 강력한 성능을 보였음에도 불구하고, 앙상블은 활성 학습 성능이 열악하고 철학적 불확실성과 모델 오차 간의 상관관계가 약하여, 사전 훈련된 모델 하나에서 유도된 미세조정으로 인해 앙상블 구성원 간의 다양성이 제한됨을 시사한다.

ABSTRACT

Language models can learn a range of capabilities from unsupervised training on text corpora. However, to solve a particular problem (such as text summarization) it is typically necessary to fine-tune them on a task-specific dataset. It is often easier for humans to choose between options than to provide labeled data, and prior work has achieved state-of-the-art performance by training a reward model from such preference comparisons. However, collecting a large preference comparison dataset is still expensive -- and the learned reward models are unreliable out-of-distribution. We seek to address these problems via uncertainty estimation, which can improve sample efficiency and robustness using active learning and risk-averse reinforcement learning (RL). Specifically, we use bootstrap aggregating (bagging) to train an ensemble of reward models differing in the initialization of their final layer. Ensembles have proved successful in prior applications of active learning, but we find that in our setting ensemble active learning does not outperform random sampling. Further experiments show that while the aggregate predictions are well-calibrated, the ensemble's estimated epistemic uncertainty is only weakly correlated with model error. We suspect this is because the ensemble members are fine-tuned from a single model and so are similar to one another. This suggests current pre-training methods will need to be modified to support uncertainty estimation, e.g. by training multiple language models.

연구 동기 및 목표

• 불확실성 추정을 통해 언어 보상 모델 훈련의 샘플 효율성과 강건성을 향상시키는 것.
• 미세조정된 선호도 비교 데이터 기반 보상 모델에 대해 앙상블 방법이 신뢰할 수 있는 불확실성 추정을 제공할 수 있는지 조사하는 것.
• 인간 선호도 레이블링에 대한 데이터 수집 비용을 줄이기 위해 불확실성 기반 활성 학습의 효과를 평가하는 것.
• 왜 앙상블 기반 불확실성 추정이 사전 훈련된 언어 모델의 미세조정된 버전에서는 성능이 열등한지 진단하는 것.
• 모델 다양성의 제한으로 인해 미세조정 효율성과 불확실성 추정 품질 사이의 상충 관계를 탐색하는 것.

제안 방법

• 선호도 비교 데이터에 대해 미세조정하면서 각 모델의 최종 레이어를 무작위로 재초기화하여 언어 보상 모델의 앙상블을 훈련하는 것.
• 부트스트랩 앙상블(배깅)을 사용해 각 앙상블 구성원의 훈련 서브셋을 다양하게 만들어 불확실성 추정을 향상시키는 것.
• 각 입력에 대해 앙상블 예측의 분산을 통해 철학적 불확실성 추정을 수행하는 것.
• 보류된 데이터에서 불확실성 추정과 실제 모델 오차 간의 스피어만 상관계수를 사용해 불확실성 품질을 평가하는 것.
• 선호도 레이블링에서 불확실성 기반 수집(예: 분산)과 무작위 샘플링을 비교하여 활성 학습 성능을 평가하는 것.
• 합성 및 실제 요약 데이터셋을 사용해 앙상블 예측과 불확실성 추정의 校정성(캘리브레이션)을 평가하는 것.

실험 결과

연구 질문

• RQ1 앙상블 기반 불확실성 추정이 무작위 샘플링 대비 언어 보상 모델 훈련에서 활성 학습 성능을 향상시킬 수 있는가?
• RQ2 앙상블 분산을 통한 불확실성 추정이 분포 외 및 분포 내 입력에서 실제 모델 오차와 얼마나 상관되는가?
• RQ3 앙상블 크기와 모델 파라미터 수가 불확실성 추정 품질에 어떤 영향을 미치는가?
• RQ4 다른 기계학습 응용 분야에서 성공을 거둔 바에도 불구하고, 이 설정에서는 왜 앙상블 기반 불확실성 추정이 성능이 열등한가?
• RQ5 단일 사전 훈련된 모델에서부터 미세조정된 앙상블 구성원 간의 다양성이 얼마나 제한되어 있으며, 이는 불확실성 추정에 어떤 영향을 미치는가?

주요 결과

• 언어 보상 모델의 선호도 레이블링에서 앙상블 기반 활성 학습은 무작위 샘플링을 초월하지 못한다.
• 추정된 철학적 불확실성과 실제 모델 오차 간의 스피어만 상관계수는 낮아 최대 r = 0.36에 불과하며, 모델 오차 분산의 13%만 설명한다.
• 앙상블 크기가 커질수록 불확실성 품질이 약간 향상되며, 구성원 수 3명일 때 r = 0.25에서 42명일 때 r = 0.36으로 증가하지만, 이는 미미한 향상이다.
• 훈련 중 부트스트랩을 적용해도 불확실성 품질 향상이 미미하고 통계적으로 유의미하지 않아, 샘플링 전략보다 앙상블 크기가 더 중요함을 시사한다.
• 성능 열악함은 모두 동일한 사전 훈련된 모델에서 유도된 앙상블 구성원 간의 낮은 다양성 탓이며, 이는 의미 있는 불확실성 추정을 포괄하지 못함을 의미한다.
• 결과적으로, 미세조정에서의 샘플 효율성과 신뢰할 수 있는 불확실성 추정 사이에 근본적인 상충 관계가 존재하며, 내재된 다양성을 지닌 대안적 사전 훈련 또는 앙상블 전략이 필요하다고 제안한다.