[논문 리뷰] Meta-tuning Language Models to Answer Prompts Better.

Ruiqi Zhong, Kristy Lee외 2명|arXiv (Cornell University)|2021. 04. 10.

Topic Modeling참고 문헌 13인용 수 9

한 줄 요약

이 논문은 일반화 능력을 유지하면서 zero-shot 프롬프팅 성능을 향상시키기 위해 대규모 언어 모델을 특화시키기 위한 메타튜닝(meta-tuning)을 제안한다. 43개의 데이터셋을 일관된 질문-답변 형식으로 통합하고, 441개의 레이블 설명을 활용해 미세조정한 결과, 모델은 예측되지 않은 작업들에 대해 동일 크기의 전용 QA 모델을 능가하며, 이는 프롬프트 이해 능력이 대상 지정된 사전학습을 통해 체계적으로 향상시킬 수 있음을 보여준다.

ABSTRACT

Large pretrained language models like GPT-3 have acquired a surprising ability to perform zero-shot classification (ZSC). For example, to classify review sentiments, we can prompt the language model with the review and the question Is the review positive? as the context, and ask it to predict whether the next word is Yes or No. However, these models are not specialized for answering these prompts. To address this weakness, we propose meta-tuning, which trains the model to specialize in answering prompts but still generalize to unseen tasks. To create the training data, we aggregated 43 existing datasets, annotated 441 label descriptions in total, and unified them into the above question answering (QA) format. After meta-tuning, our model outperforms a same-sized QA model for most labels on unseen tasks, and we forecast that the performance would improve for even larger models. Therefore, measuring ZSC performance on non-specialized language models might underestimate their true capability, and community-wide efforts on aggregating datasets and unifying their formats can help build models that understand prompts better.

연구 동기 및 목표

• 대규모 언어 모델이 강력한 zero-shot 분류 능력을 지니고 있음에도 불구하고 프롬프트에 대한 답변 능력이 특화되어 있지 않은 한계를 해결하기 위해.
• 프롬프트 기반 지시어를 더 잘 이해하고 응답할 수 있도록 모델을 훈련시켜, 예측되지 않은 작업에서의 성능을 향상시키기 위해.
• 다양한 데이터셋을 일관된 질문-답변 형식으로 통합하여 일관된 프롬프트 훈련을 가능하게 하기 위해.
• 메타튜닝이 예측되지 않은 작업에서 표준 zero-shot 프롬프팅보다 더 나은 일반화를 가능하게 함을 입증하기 위해.
• 커뮤니티 차원의 데이터셋 집합 및 형식 통합이 LLM의 프롬프트 이해 능력 향상에 상당한 기여를 할 수 있음을 보여주기 위해.

제안 방법

• 저자는 43개의 기존 데이터셋을 수집하고, 이를 질문-답변 형식으로 441개의 고유한 레이블 설명으로 변환하였다.
• 각 예시는 프롬프트 형식으로 변환되었으며, 입력 컨텍스트 + 질문(예: '리뷰는 긍정적인가요?') + 타겟 답변(예: Yes/No)의 구조를 가졌다.
• 표준 언어 모델링 목표를 사용하여 이 통합된 프롬프트 기반 데이터셋으로 모델을 미세조정하였다.
• 메타튜닝을 적용하여 모델의 프롬프트 이해 능력을 특화시키면서도, 예측되지 않은 작업으로의 일반화 능력을 유지하였다.
• 훈련 데이터는 도메인과 레이블 유형 간 일관성을 확보하여 광범위한 적용 가능성을 확보하였다.
• 이 접근법은 모델의 zero-shot 능력을 유지하면서도, 프롬프트 기반 분류 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 일반화 능력을 잃지 않으면서도, 대규모 언어 모델을 프롬프트 이해 능력 향상에 대해 체계적으로 개선할 수 있는가?
• RQ2 통합된 프롬프트 형식 데이터로 메타튜닝을 수행했을 때, 표준 zero-shot 추론 대비 예측되지 않은 작업에서의 성능은 어떻게 영향을 받는가?
• RQ3 데이터셋 집합 및 형식 통합이 프롬프트 기반 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 메타튜닝은 동일 크기의 전용 QA 모델을 훈련시킨 것보다 더 높은 성능을 낼 수 있는가?
• RQ5 모델 규모가 증가함에 따라 메타튜닝을 통해 대규모 모델의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 메타튜닝을 거친 후, 모델은 예측되지 않은 작업의 대부분의 레이블에서 동일 크기의 전용 QA 모델을 능가한다.
• 성능 향상은 비특화된 모델의 zero-shot 분류 성능가능성이 실제 잠재력보다 낮게 평가되고 있음을 시사한다.
• 메타튜닝은 프롬프트 기반 추론에 특화시킴으로써 예측되지 않은 작업으로의 일반화 능력을 향상시킨다.
• 저자는 더 큰 모델에서 성능 향상이 더욱 뚜렷할 것으로 예측하며, 이는 접근법의 확장 가능성을 시사한다.
• 다양한 데이터셋을 일관된 QA 형식으로 통합하는 것은 모델의 프롬프트 이해 및 응답 능력을 상당히 향상시킨다.
• 결과적으로, 프롬프트 이해 능력은 통합된 프롬프트 최적화 데이터에 대해 대상 지정된 사전학습을 통해 체계적으로 향상시킬 수 있음을 입증한다.