[논문 리뷰] PromptBERT: Improving BERT Sentence Embeddings with Prompts

Ting Jiang, Jiao, Jian외 8명|arXiv (Cornell University)|2022. 01. 12.

Topic Modeling인용 수 12

한 줄 요약

PromptBERT는 정적 토큰 임베딩 편향과 비효율적인 BERT 레이어를 완화함으로써 BERT의 문장 임베딩 성능을 향상시키는 프롬프트 기반 방법을 제안한다. 템플릿 기반 대비 학습과 템플릿 노이즈 제거를 도입하여 비지도 및 지도 학습 설정에서 최신 기술 성능을 달성했으며, BERT와 RoBERTa에서 각각 SimCSE보다 2.29점과 2.58점 높은 성능을 기록했다.

ABSTRACT

We propose PromptBERT, a novel contrastive learning method for learning better sentence representation. We firstly analyze the drawback of current sentence embedding from original BERT and find that it is mainly due to the static token embedding bias and ineffective BERT layers. Then we propose the first prompt-based sentence embeddings method and discuss two prompt representing methods and three prompt searching methods to make BERT achieve better sentence embeddings. Moreover, we propose a novel unsupervised training objective by the technology of template denoising, which substantially shortens the performance gap between the supervised and unsupervised settings. Extensive experiments show the effectiveness of our method. Compared to SimCSE, PromptBert achieves 2.29 and 2.58 points of improvement based on BERT and RoBERTa in the unsupervised setting.

연구 동기 및 목표

• 원래 BERT가 문장 임베딩에서 떨어지는 성능을 보이는 이유는 정적 토큰 임베딩 편향과 BERT 레이어의 비효율적 사용 때문이므로 이를 해결하고자 한다.
• 파인튜닝 없이 BERT의 전체 능력을 활용할 수 있는 프롬프트 기반 방법을 개발하여 수동적인 편향 제거를 피하고 의미 있는 토큰을 유지하고자 한다.
• 템플릿과 템플릿 노이즈 제거를 사용한 새로운 대비 학습 목표를 도입하여 비지도 학습을 향상시키고, 편향을 줄이며 긍정 쌍의 품질을 향상시키고자 한다.
• 문장 표현 학습에서 지도 학습과 비지도 학습 설정 간의 성능 격차를 줄이자.
• 프롬프트 엔지니어링이 문장 임베딩 작업에서 파인튜닝된 BERT 기준보다 우수할 수 있음을 입증하고자 한다.

제안 방법

• 간단한 히든 상태의 풀링을 대체하여, 템플릿을 활용해 BERT가 문장 임베딩을 생성하도록 유도하는 프롬프트 기반 문장 표현 방법을 제안한다.
• 두 가지 프롬프트 표현 방법을 도입한다: 템플릿 기반 및 연속적 프롬프트 튜닝이며, 수동 템플릿이 더 뛰어난 성능을 보였다.
• 최적의 템플릿을 찾기 위해 수동, T5 생성, 연속적 프롬프트의 세 가지 프롬프트 검색 전략을 활용한다.
• 다양한 템플릿을 긍정 쌍으로 사용하는 새로운 비지도 대비 학습 목표를 개발하며, 템플릿 노이즈 제거를 통해 편향되거나 관련 없는 토큰을 걸러낸다.
• 마스킹 언어 모델링(MLM)을 통해 템플릿 노이즈 제거를 적용하여 예측 토큰을 정제하고, 관련 없거나 노이즈가 많은 예측(예: 'nothing', 'yes')을 제거하여 의미적 관련성을 향상시킨다.
• 상위-k 예측 토큰(예: 상위-200개)의 가중 평균을 문장 임베딩으로 사용하며, 노이즈 제거가 이 표현 방법의 성능 향상에 크게 기여한다.

실험 결과

연구 질문

• RQ1 강력한 아키텍처를 지닌 BERT임에도 불구하고 문장 임베딩에서 성능이 떨어지는 이유는 무엇인가?
• RQ2 프롬프트 기반 방법은 파인튜닝 없이도 정적 토큰 임베딩 편향을 완화하고 문장 표현 품질을 향상시킬 수 있는가?
• RQ3 노이즈 제거를 포함한 템플릿 기반 대비 학습은 비지도 문장 임베딩 성능 향상에 얼마나 효과적인가?
• RQ4 템플릿 노이즈 제거는 예측 토큰의 편향을 줄이고 문장 임베딩의 의미 품질을 향상시킬 수 있는가?
• RQ5 프롬프트 기반 대비 학습은 훈련을 얼마나 안정화시키며, 지도 학습과 비지도 학습 설정 간 격차를 얼마나 줄일 수 있는가?

주요 결과

• 원래 BERT 레이어는 문장 임베딩 품질을 떨어뜨리며, 정적 토큰 임베딩은 빈도, 대소문자, 서브워드 편향을 앓고 있지만, 마지막 레이어 표현보다는 덜 이방향적이다.
• 고빈도 서브워드와标 punctuations를 제외한 비편향 토큰의 평균 임베딩을 사용하는 단순한 베이스라인은 GloVe를 능가하며, BERT-flow나 BERT-whitening과 같은 후처리 방법과도 맞먹는 성능을 보였다.
• 수동 템플릿을 사용한 프롬프트 기반 문장 임베딩은 표준 BERT 풀링보다 뛰어나며, 일부 파인튜닝된 BERT 기준보다도 문장 유사도 작업에서 승리했다.
• 템플릿 노이즈 제거는 MLM에서 상위-k 예측 토큰의 품질을 향상시켜 STS 벤치마크에서 상위-200 토큰 임베딩 성능을 56.19에서 60.39로 끌어올렸다.
• 템플릿 노이즈 제거를 적용한 본 논문의 방법은 비지도 설정에서 STS-B 벤치마크에서 BERT-base 기준 78.54 ± 0.15, RoBERTa-base 기준 79.15 ± 0.25를 기록했으며, 각각 SimCSE보다 2.29점과 2.58점 높은 성능을 기록했다.
• PromptBERT는 훨씬 뛰어난 훈련 안정성을 보였으며, 최고와 최악의 실행 간 성능 격차가 0.53%로, SimCSE의 3.14% 격차보다 훨씬 작아 일관된 수렴을 보였다.