[논문 리뷰] An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models

Tianxing He, Kyunghyun Cho외 1명|arXiv (Cornell University)|2021. 09. 06.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 대상으로 소수의 예제를 활용한 지식 탐색을 조사하며, 비용이 적은 파라미터로 모델을 미세조정하는 비트피트(BitFit) 기반의 편향 벡터 미세조정 기법이 프롬프트 엔지니어링과 인라인 학습보다 뛰어나다는 것을 제안한다. 새로운 2단계 관계 데이터셋(TREx-2p)을 사용하여, 단지 10~20개의 소수 예제만으로도 제로샷 성능이 크게 향상됨을 보여주며, 비트피트는 최소한의 파라미터로 모델을 효과적으로 정규화함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Prompt-based knowledge probing for 1-hop relations has been used to measure how much world knowledge is stored in pretrained language models. Existing work uses considerable amounts of data to tune the prompts for better performance. In this work, we compare a variety of approaches under a few-shot knowledge probing setting, where only a small number (e.g., 10 or 20) of example triples are available. In addition, we create a new dataset named TREx-2p, which contains 2-hop relations. We report that few-shot examples can strongly boost the probing performance for both 1-hop and 2-hop relations. In particular, we find that a simple-yet-effective approach of finetuning the bias vectors in the model outperforms existing prompt-engineering methods. Our dataset and code are available at \url{https://github.com/cloudygoose/fewshot_lama}.

연구 동기 및 목표

• 제한된 감독 하에 사전 훈련된 언어 모델에서 소수의 예제를 활용한 지식 탐색의 성능을 평가하는 것.
• 소수의 예제 설정 하에서 프롬프트 엔지니어링과 모델 미세조정 중 어느 것이 더 높은 성능을 내는지 조사하는 것.
• 2단계 관계 지식 탐색을 위한 새로운 벤치마크 데이터셋 TREx-2p를 구축하는 것.
• 소수의 예제 설정 하에서 인라인 학습, 연속적 프롬프트 튜닝(OptiPrompt), 및 파라미터 효율적인 미세조정(BitFit)의 효과를 평가하는 것.

제안 방법

• 저자는 2단계 관계 지식 탐색을 평가하기 위해 새로운 데이터셋 TREx-2p를 도입한다.
• 다양한 소수의 프롬프트 전략을 비교한다: 수동 템플릿(manT), 추출된 템플릿(mineT), 기본 템플릿(defT), 인라인 학습, OptiPrompt(연속적 프롬프트 튜닝), 및 모델 미세조정.
• 비트피트(BitFit)는 최종 레이어 또는 히든 레이어의 편향 벡터만 미세조정함으로써 최소한의 파라미터로 모델을 조정하고 과적합을 줄인다.
• 성능 평가에는 평균 역순상위순위(MRR)를 사용하며, 과적합을 방지하기 위해 소규모 개발 세트에서 조기 정지 기법을 적용한다.
• OptiPrompt는 학습 중에 입력 프롬프트를 동적으로 조정하기 위해 학습 가능한 연속적 프롬프트 토큰을 사용한다.
• 제거 분석(ablation study)를 통해 전체 미세조정, 비트피트, 제어 기반 모델(출력층 또는 히든 레이어 편향만 미세조정)을 비교하여 편향 미세조정의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 사소한 예제(소수의 예제)가 사전 훈련된 언어 모델에서 제로샷 지식 탐색 정확도를 크게 향상시킬 수 있는가?
• RQ2 편향 벡터를 미세조정하는 기법(BitFit)이 소수의 예제 설정에서 프롬프트 엔지니어링과 인라인 학습을 능가하는가?
• RQ3 특히 2단계 템플릿의 문법적 복잡성이 증가함에 따라, 1단계 및 2단계 관계에서 소수의 예제 프롬프트 성능은 어떻게 변화하는가?
• RQ4 연속적 프롬프트 튜닝(OptiPrompt)이 소수의 예제 설정에서 이산적 수동 또는 추출된 템플릿을 능가할 수 있는가?
• RQ5 수동 템플릿과 OptiPrompt 또는 BitFit의 조합이 추가적인 성능 향상을 가져오는가?

주요 결과

• 10~20개의 소수의 예제만으로도 1단계 및 2단계 관계에서 탐색 정확도가 크게 향상되며, 성능은 약 200개의 예제에서 포화 상태에 도달한다.
• 비트피트(BitFit)는 오직 편향 벡터만 미세조정하는 기법으로, 대부분의 경우 전체 모델 미세조정 및 OptiPrompt를 능가하는 최신 기술 수준의 성능을 달성한다.
• OptiPrompt는 수동 및 추출된 템플릿을 능가하며, 연속적 프롬프트 튜닝이 이산적 템플릿보다 우월한 것을 확인한다.
• 인라인 학습은 10~20-shot 설정에서는 경쟁력 있는 성능을 보이지만, 빠르게 포화 상태에 도달하며 40-shot 설정에서는 OptiPrompt에 밀린다.
• 2단계 관계에서 수동 템플릿의 제로샷 성능은 매우 낮아 14.4%에 그치며, 더 높은 문법적 복잡성이 도전 과제임을 시사한다.
• 출력층 또는 히든 레이어 편향만 미세조정하는 제어 기반 모델은 비트피트보다 성능이 열 劣하므로, 지식 접근이 단순한 출력 편향화를 넘어서는 것으로 증명된다.