[논문 리뷰] Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

Collin Burns, Pavel Izmailov외 10명|arXiv (Cornell University)|2023. 12. 14.

Topic Modeling인용 수 24

한 줄 요약

이 논문은 약한 감독자(weak supervisor)로부터의 라벨로 미세조정된 강한 모델이 약한 감독자를 넘어 일반화할 수 있는지 여부를 연구하고, 약한-강한 일반화를 크게 개선하는 방법을 제시하며, 초인간 정렬(superhuman alignment)에 대한 한계를 강조합니다.

ABSTRACT

Widely used alignment techniques, such as reinforcement learning from human feedback (RLHF), rely on the ability of humans to supervise model behavior - for example, to evaluate whether a model faithfully followed instructions or generated safe outputs. However, future superhuman models will behave in complex ways too difficult for humans to reliably evaluate; humans will only be able to weakly supervise superhuman models. We study an analogy to this problem: can weak model supervision elicit the full capabilities of a much stronger model? We test this using a range of pretrained language models in the GPT-4 family on natural language processing (NLP), chess, and reward modeling tasks. We find that when we naively finetune strong pretrained models on labels generated by a weak model, they consistently perform better than their weak supervisors, a phenomenon we call weak-to-strong generalization. However, we are still far from recovering the full capabilities of strong models with naive finetuning alone, suggesting that techniques like RLHF may scale poorly to superhuman models without further work. We find that simple methods can often significantly improve weak-to-strong generalization: for example, when finetuning GPT-4 with a GPT-2-level supervisor and an auxiliary confidence loss, we can recover close to GPT-3.5-level performance on NLP tasks. Our results suggest that it is feasible to make empirical progress today on a fundamental challenge of aligning superhuman models.

연구 동기 및 목표

• 약한 감독이 훨씬 더 강력한 모델의 모든 능력을 이끌어낼 수 있는지 조사한다.
• 약한 라벨로 학습될 때 강한 모델이 약한 감독자보다 얼마나 더 우수한지 정량화한다.
• 보조 손실, 부트스트래핑, 비지도 미세조정 등 약한-강한 일반화를 향상시키는 방법을 식별한다.
• 단순한 감독 및 RLHF의 초인간 모델 확장 가능성의 한계를 평가한다.

제안 방법

• Ground-truth 라벨에 대해 소형 모델을 미세조정하여 약한 감독자를 생성한다.
• 강한 학생 모델을 약한 라벨에 대해 미세조정하고 약한-강한 성능을 측정한다.
• Ground-truth 라벨로 미세조정했을 때 얻는 강한 한계값과 비교한다.
• 간단한 개선 기법들(보조 신뢰도 손실, 부트스트래핑, 비지도 미세조정)을 도입하고 평가한다.
• 강한 모델의 잠재력 회복 정도를 정량화하기 위한 성능 격차 회복(PGR)을 정의하고 계산한다.

실험 결과

연구 질문

• RQ1 강한 모델이 약한 감독으로 학습했을 때 NLP, 체스, 보상 모델링 과제에서 자신의 약한 감독자를 능가할 수 있는가?
• RQ2 무조건적(naive) 약한 감독이 강한 모델의 능력 회복(PGR)에 어느 정도 기여하는가?
• RQ3 약한-강한 일반화를 의미 있게 개선할 수 있는 간단한 기법은 무엇인가?
• RQ4 초인간 모델로 확장할 때 순수하게 RLHF 유사 감독의 한계는 무엇인가?

주요 결과

• 약한 감독으로 학습된 강력한 사전 학습 모델은 일관되게 자신의 약한 감독자를 능가한다(약한-강한 일반화).
• 약한 라벨에 대한 무작정의 미세조정은 일부 격차를 회복하는 경향이 있으며, NLP 과제에서 뚜렷한 이득을 보이는 반면 보상 모델링은 이득이 제한적이다.
• 약한-강한 일반화는 순전히 무작정한 방법으로는 강한 한계값에 근접하지 못하며, 초인간 모델의 RLHF 유사 확장에 대한 도전이 남아 있음을 시사한다.
• 보조 신뢰도 손실은 NLP 일반화 성능을 극적으로 개선하여 격차의 상당 부분을 회복시킬 수 있다(일부 NLP 설정에서 거의 80%에 근접한 회복).
• 중간 모델 크기로의 부트스트래핑은 더 큰 격차에 대해 일반화를 개선하지만 모든 설정에서 보편적으로 효과적이지는 않다(특히 체스에서 두드러짐).
• 비지도 생성 미세조정은 보상 모델링에 도움을 주지만 격차를 완전히 줄이지는 못하며, 과제에 따라 결과가 다르게 나타난다.