[논문 리뷰] PromptBoosting: Black-Box Text Classification with Ten Forward Passes

Bairu Hou, Joe O’Connor외 3명|arXiv (Cornell University)|2022. 12. 19.

Natural Language Processing Techniques인용 수 11

한 줄 요약

PromptBoosting는 작은 수의 프롬프트와 언어 모델의 출력 분포에서 약한 학습기의 앙상블을 구성함으로써 프롬프트 최적화를 회피하는 쿼리 효율적인 블랙박스 텍스트 분류 방법이다. 배치당 단지 열 번의 순방향 전파만으로 소수 샘플 및 표준 설정에서 최신 기술 수준의 성능을 달성하며, 기존의 블랙박스 방법을 능가하고 전체 미세조정과 동등한 성능를 보이며, 10배 빠른 속도를 제공한다.

ABSTRACT

We describe PromptBoosting, a query-efficient procedure for building a text classifier from a neural language model (LM) without access to the LM's parameters, gradients, or hidden representations. This form of "black-box" classifier training has become increasingly important as the cost of training and inference in large-scale LMs grows. But existing black-box LM classifier learning approaches are themselves computationally inefficient, typically specializing LMs to the target task by searching in a large space of (discrete or continuous) prompts using zeroth-order optimization methods. Instead of directly optimizing in prompt space, PromptBoosting obtains a small pool of prompts via a gradient-free approach and then constructs a large pool of weak learners by pairing these prompts with different elements of the LM's output distribution. These weak learners are then ensembled using the AdaBoost algorithm. The entire learning process requires only a small number of forward passes and no backward pass. Experiments show that PromptBoosting achieves state-of-the-art performance in multiple black-box few-shot classification tasks, and matches or outperforms full fine-tuning in both few-shot and standard learning paradigms, while training 10x faster than existing black-box methods.

연구 동기 및 목표

• 모델 파라미터, 기울기, 은닉 상태에 접근할 수 없는 대규모 언어 모델(LMs)에서 블랙박스 프롬프트 튜닝의 높은 계산 비용을 해결하기 위해.
• 기울기 기반 최적화에 의존하지 않고도 효과적인 프롬프트 기반 분류를 위해 필요한 언어 모델 쿼리 수를 줄이기 위해.
• 블랙박스 환경에서 높은 성능를 유지하면서 추론 효율성을 크게 향상시키는 방법을 개발하기 위해.
• 프롬프트 품질을 언어 모델의 출력 분포(말더듬이)에 대한 앙상블 학습을 통해 보완할 수 있음을 입증하기 위해.
• 특히 실세계 클라우드 기반 언어 모델 서비스에서 모델 내부에 접근할 수 없는 상황에서도 언어 모델의 효율적 적응을 가능하게 하기 위해.

제안 방법

• PromptBoosting는 비기울기 기반 방법을 사용해 최적화되지 않은 소규모 프롬프트 풀을 먼저 생성함으로써 비용이 많이 드는 프롬프트 최적화를 피한다.
• 그런 다음 각 프롬프트를 언어 모델의 출력 분포(말더듬이)의 다양한 요소(예: 클래스별 토큰)와 조합하여 대규모의 약한 학습기 풀을 생성한다.
• 이 약한 학습기는 AdaBoost 알고리즘을 사용해 앙상블되며, 각 반복에서 최적화는 프롬프트가 아닌 말더듬이에 대해서만 수행된다.
• 전체 과정은 언어 모델을 통한 순방향 전파만 필요하며, 역방향 전파나 기울기 계산은 전혀 필요로 하지 않는다.
• 이 방법은 언어 모델의 출력 분포 내재적 다양성을 활용하여 프롬프트 튜닝 없이도 강력한 앙상블 예측을 생성한다.
• 이 프레임워크는 쿼리 효율적이며, 배치당 단지 열 번의 순방향 전파만 필요하며, 소수 샘플 및 전체 데이터 학습 모두와 호환된다.

실험 결과

연구 질문

• RQ1 최소한의 언어 모델 쿼리로 높은 정확도를 유지하면서 블랙박스 텍스트 분류기를 구축할 수 있는가?
• RQ2 고정된 프롬프트 집합과 언어 모델의 출력 분포에서 유도된 약한 학습기의 앙상블이 블랙박스 환경에서 프롬프트 최적화를 능가하는가?
• RQ3 모델 파라미터나 기울기를 접근할 수 없음에도 불구하고 전체 미세조정 수준의 성능를 달성할 수 있는가?
• RQ4 프롬프트 수가 앙상블의 성능와 효율성에 어떤 영향을 미치는가?
• RQ5 프롬프트가 작업에 대해 최적화되지 않았음에도 불구하고, 초기 프롬프트 풀의 품질에 대해 이 방법이 얼마나 강인한가?

주요 결과

• PromptBoosting는 GLUE 및 허깅페이스 NLI 작업을 포함한 여러 소수 샘플 텍스트 분류 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• QNLI 데이터셋에서 PromptBoosting는 단일 프롬프트의 경우 41.3%에 그치는 것과는 달리, 10개의 프롬프트로 84.6%의 정확도를 달성하여 성능을 크게 향상시켰다.
• 소수 샘플 및 전체 데이터 학습 설정 모두에서 PromptBoosting는 전체 미세조정의 성능를 따라하거나 초월한다.
• PromptBoosting는 기존의 블랙박스 프롬프트 학습 방법보다 10배 빠르게 작동하며, 배치당 단지 열 번의 순방향 전파만 필요로 한다.
• LM-BFF, PET, 수동 프롬프트 등 다양한 프롬프트 생성 방법에 대해 성능가 경쟁력 있는 성능를 유지함으로써 앙상블 메커니즘의 강건성을 확인했다.
• 프롬프트 수를 10개에서 20개로 늘여도 성능 향상이 미미하여, 10개의 프롬프트로도 최적의 성능를 달성하는 데 충분함을 시사한다.