[논문 리뷰] Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification

Han Wang, Canwen Xu외 1명|arXiv (Cornell University)|2022. 04. 13.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 한 개의 레이블 맵핑에서 다수의 레이블 워드를 자동으로 선택함으로써 소수의 예제로 텍스트 분류를 수행할 수 있는 파rameter-free, 통계 기반의 방법인 Automatic Multi-Label Prompting (AMuLaP)을 제안한다. AMuLaP는 인간의 레이블링이나 모델 가중치 접근 없이도 GLUE 벤치마크에서 경쟁적인 성능을 달성하며, 레이블링이 하나 또는 두 개인 경우조차도 표준 미세조정보다 뛰어난 성능을 보인다.

ABSTRACT

Prompt-based learning (i.e., prompting) is an emerging paradigm for exploiting knowledge learned by a pretrained language model. In this paper, we propose Automatic Multi-Label Prompting (AMuLaP), a simple yet effective method to automatically select label mappings for few-shot text classification with prompting. Our method exploits one-to-many label mappings and a statistics-based algorithm to select label mappings given a prompt template. Our experiments demonstrate that AMuLaP achieves competitive performance on the GLUE benchmark without human effort or external resources.

연구 동기 및 목표

• 소수의 예제 프롬프팅에서 수동 레이블 엔지니어링을 제거하기 위해 레이블 워드 선택을 자동화하는 것.
• 노이즈를 줄이고 효과적인 지도 학습을 확장하기 위해 일대다 레이블 매핑을 통해 소수의 예제 분류 성능을 향상시키는 것.
• 모델 가중치나 외부 미세조정에 접근할 수 없어도 작동하는 방법을 개발하여 GPT-3와 같은 블랙박스 언어 모델에 실용적으로 적용할 수 있도록 하는 것.
• 다양한 소수의 예제 설정과 모델 구성에서 다중 레이블 선택의 효과를 평가하는 것.
• 자동 프롬프트 기반 학습에서 레이블 세트 크기, 품질, 성능 간의 상호 상충 관계를 분석하는 것.

제안 방법

• AMuLaP는 소수의 예제 훈련 세트에서 입력 토큰의 분포와 가장 잘 일치하는 레이블 워드를 통계 기반 알고리즘으로 식별한다.
• 각 클래스가 다수의 후보 레이블 워드와 연결되는 일대다 레이블 매핑을 활용하여 노이즈를 억제하고 일반화 능력을 향상시킨다.
• 모델 미세조정이나 기울기 업데이트 없이 작동하며, 소수의 예제 내에서 통계적 공출현 패턴에만 의존한다.
• 프롬프트 템플릿이 고정된 후 적용되며, 해당 템플릿에 최적화된 레이블 워드 선택에 집중한다.
• 알고리즘은 소수의 예제 내 입력 토큰과의 통계적 관련성을 측정하여 단순하면서 효과적인 점수 기반 메커니즘을 사용해 레이블 워드를 선택한다.
• AMuLaP는 뼈대 모델의 가중치에 접근할 필요가 없어 GPT-3와 같은 블랙박스 언어 모델과도 함께 사용할 수 있다.

실험 결과

연구 질문

• RQ1 인간의 간섭 없이 순수하게 통계 기반이고 파rameter-free인 방법이 소수의 예제 프롬프팅을 위한 효과적인 레이블 워드를 자동으로 선택할 수 있는가?
• RQ2 레이블 워드를 하나가 아닌 다수로 선택할 경우, 단일 레이블 매핑에 비해 소수의 예제 분류 성능에 어떤 영향을 미치는가?
• RQ3 소수의 예제가 하나 또는 두 개인 경우, AMuLaP를 통한 자동 레이블 선택이 표준 미세조정보다 우수한가?
• RQ4 레이블 세트 크기(k)가 성능에 어떤 영향을 미치며, AMuLaP에 최적의 k 값이 존재하는가?
• RQ5 모델 가중치나 외부 미세조정에 접근이 필요한 프롬프팅 방법과 비교해 AMuLaP는 어떻게 성능을 내는가?

주요 결과

• AMuLaP는 인간의 레이블링이나 모델 가중치 접근 없이도 GLUE 벤치마크에서 경쟁적인 성능을 달성한다.
• 레이블링이 하나 또는 두 개인 경우, AMuLaP는 표준 미세조정이 랜덤 베이스라인 수준에 머무르는 것과는 대조적으로 뚜렷이 뛰어난 성능을 보인다.
• AMuLaP에 미세조정을 추가하면 훈련 세트 크기가 증가함에 따라 성능이 계속 향상되며, MNLI에서는 표준 미세조정을 능가하고, MRPC에서는 강력한 성능을 유지한다.
• 노이즈가 있는 레이블 후보(예: </s> 토큰)에 대해 레이블의 다수성 덕분에 개별 오류가 완화되어, 메서드는 높은 내성성을 보인다.
• 임의의 매핑에서 레이블 워드 수(k)를 늘릴수록 성능이 향상됨을 확인하여, 레이블 세트 크기가 지도 학습을 강화함을 시사하지만, AMuLaP의 성능은 일정한 k 이상에서 레이블 품질 저하로 인해 정체됨을 확인했다.
• 미세조정 없이도 AMuLaP의 성능은 빠르게 포화 상태에 도달함을 보여, 자동 레이블링을 통한 인라인 학습은 컨텍스트 길이에 의해 제한되며 더 많은 예제가 추가되어도 성능이 확장되지 않음을 시사한다.