[논문 리뷰] Prompt Consistency for Zero-Shot Task Generalization

Chunting Zhou, Junxian He외 3명|arXiv (Cornell University)|2022. 04. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 라벨이 없는 데이터를 사용하여 대규모 언어 모델에서 zero-shot 태스크 일반화를 향상시키기 위해 군집 분산을 통한 프롬프트 일관성 정규화를 제안한다. 동일한 입력에 대해 여러 동의어 프롬프트를 사용할 때 일관된 예측을 유도함으로써, 11개의 NLP 벤치마크 중 9개에서 최신 기술(SOTA) 성능을 달성하며, 라벨이 거의 없는 조건에서 최대 10.6점의 정확도 향상을 기록한다.

ABSTRACT

One of the most impressive results of recent NLP history is the ability of pre-trained language models to solve new tasks in a zero-shot setting. To achieve this, NLP tasks are framed as natural language prompts, generating a response indicating the predicted output. Nonetheless, the performance in such settings often lags far behind its supervised counterpart, suggesting a large space for potential improvement. In this paper, we explore methods to utilize unlabeled data to improve zero-shot performance. Specifically, we take advantage of the fact that multiple prompts can be used to specify a single task, and propose to regularize prompt consistency, encouraging consistent predictions over this diverse set of prompts. Our method makes it possible to fine-tune the model either with extra unlabeled training data, or directly on test input at inference time in an unsupervised manner. In experiments, our approach outperforms the state-of-the-art zero-shot learner, T0 (Sanh et al., 2022), on 9 out of 11 datasets across 4 NLP tasks by up to 10.6 absolute points in terms of accuracy. The gains are often attained with a small number of unlabeled examples.

연구 동기 및 목표

• 라벨 데이터에 의존하지 않고 사전 학습된 언어 모델의 zero-shot 일반화 성능을 향상시키는 것.
• 모델 예측이 프롬프트 어휘에 민감하여 zero-shot 성능이 제한되는 문제를 해결하는 것.
• 라벨이 없는 데이터를 활용하여 동일한 작업에 대해 다양한 프롬프트에 대해 강건성을 향상시키는 무 supervision 방법을 개발하는 것.
• 파arameter 효율적인 튜닝과 체크포인트 선택을 통해 무 supervision 테이닝 중 치명적인 기억 상실 및 모델 붕괴를 완화하는 것.
• 최소한의 데이터와 계산 자원으로 다양한 NLP 작업에 대해 이론적 실용성과 확장성을 입증하는 것.

제안 방법

• 동일한 입력에 대해 여러 동의어 프롬프트를 사용할 때 예측이 일관되도록 하는 쌍별 분산 손실을 도입한다.
• 전적으로 무 supervision인 훈련 목표인 군집 분산을 활용하여 다양한 프롬프트 변형 간의 일관성을 강제한다.
• 모델 파라미터의 소수만을 업데이트하는 파라미터 효율적 테이닝(예: LoRA)을 사용하여 치명적인 기억 상실 위험을 줄인다.
• 균일한 예측 행동으로의 붕괴를 방지하기 위해 Fleiss의 Kappa 기반의 무 supervision 기준을 사용해 모델 체크포인트를 선택한다.
• 라벨이 없는 데이터를 사용한 훈련 동안과 라벨이 없는 테스트 입력을 활용한 inference 시 테스트 타임 튜닝을 통해 적용한다.
• 기존의 사전 학습된 모델과 호환되며, 마스크된 언어 모델링이나 소수의 예제 학습과 같은 다른 목표와도 조합 가능하다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터 없이도 프롬프트 일관성 정규화가 사전 학습된 언어 모델의 zero-shot 일반화 성능을 향상시킬 수 있는가?
• RQ2 제안된 군집 분산 방법이 다양한 프롬프트 변형 간의 모델 강건성 향상에 얼마나 효과적인가?
• RQ3 유의미한 성능 향상을 달성하기 위해 필요한 최소한의 라벨이 없는 데이터는 어느 정도인가?
• RQ4 테스트 타임에 라벨이 없는 예시만을 사용해 이 방법을 효과적으로 적용할 수 있는가?
• RQ5 다양한 NLP 작업에서 최신 기술인 T0와 비교해 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 군집 분산 방법은 4개의 NLP 작업에서 11개 데이터셋 중 9개에서 최신 기술(SOTA) zero-shot 학습기인 T0를 능가하며, 정확도 향상 폭이 최대 10.6점에 이른다.
• 라벨이 없는 예시가 10개 밖에 없어도 유의미한 성능 향상을 기록하여, 낮은 데이터 및 계산 오버헤드를 가짐을 시사한다.
• 라벨이 없는 데이터가 증가함에 따라 성능 향상이 빠르게 포화 상태에 도달하므로, 이 방법은 데이터 집약적이지 않고 효율적으로 확장됨을 나타낸다.
• Inference 시 테스트 입력에 직접 테이닝을 수행해도 높은 성능를 유지하여 효과적인 테스트 타임 적응이 가능함을 보여준다.
• 모델을 11B 파라미터로 확장하면 성능이 더욱 향상되며, 이 방법은 평가된 4개의 데이터셋 전부에서 11B T0 모델을 능가한다.
• 이 방법은 프롬프트 변형에 대해 강건하며, 프롬프트 어휘에 대한 민감도를 감소시켜 더 나은 일반화와 일관성을 보여준다.