[논문 리뷰] PromptRank: Unsupervised Keyphrase Extraction Using Prompt

Aobo Kong, Shiwan Zhao외 5명|arXiv (Cornell University)|2023. 05. 08.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

PromptRank는 사전 훈련된 인코더-디코더 언어 모델을 활용하여 문서의 프롬프트 버전에서 후보 키페이즈를 생성할 확률을 계산함으로써 키페이즈 후보를 순위 매기는 새로운 비지도 키페이즈 추출 방법을 제안한다. 이 방법은 미세조정이나 아키텍처 수정 없이도 최신 기술 수준의 성능을 달성하며, MDERank 대비 각각 5, 10, 15개의 키페이즈를 반환할 때 F1 점수를 34.18%, 24.87%, 17.57% 향상시킨다.

ABSTRACT

The keyphrase extraction task refers to the automatic selection of phrases from a given document to summarize its core content. State-of-the-art (SOTA) performance has recently been achieved by embedding-based algorithms, which rank candidates according to how similar their embeddings are to document embeddings. However, such solutions either struggle with the document and candidate length discrepancies or fail to fully utilize the pre-trained language model (PLM) without further fine-tuning. To this end, in this paper, we propose a simple yet effective unsupervised approach, PromptRank, based on the PLM with an encoder-decoder architecture. Specifically, PromptRank feeds the document into the encoder and calculates the probability of generating the candidate with a designed prompt by the decoder. We extensively evaluate the proposed PromptRank on six widely used benchmarks. PromptRank outperforms the SOTA approach MDERank, improving the F1 score relatively by 34.18%, 24.87%, and 17.57% for 5, 10, and 15 returned results, respectively. This demonstrates the great potential of using prompt for unsupervised keyphrase extraction. We release our code at https://github.com/HLT-NLP/PromptRank.

연구 동기 및 목표

• 기존 비지도 키페이즈 추출 방법의 한계, 특히 문서와 후보 간 길이 불일치 문제와 PLM 기반 접근법에서의 대비 미세조정 필요성 해결.
• 프롬프트 엔지니어링이 비지도 키페이즈 순위 매기기에서 미세조정을 효과적으로 대체할 수 있는지 탐색.
• 추가 학습이나 파rameter 업데이트 없이 사전 훈련된 모델을 직접 활용하는 단순하고 즉시 사용 가능한 방법 개발.
• 다양한 데이터셋과 모델 아키텍처를 통해 방법의 견고성과 일반화 능력 평가.

제안 방법

• PromptRank는 문서를 인코더에 입력하고 후보 어휘를 포함한 프롬프트 템플릿을 디코더에 입력하는 사전 훈련된 인코더-디코더 모델(예: T5-base)을 사용한다.
• 문서와 설계된 프롬프트를 기반으로 후보 어휘의 생성 확률을 계산하며, 디코더의 출력 확률을 순위 점수로 활용한다.
• 프롬프트는 후보의 길이와 맥락을 확장하여 문서와 후보 간 길이 불일치 문제를 완화한다.
• 순위 점수는 디코더의 예측에 대한 교차 엔트로피 손실에서 유도되며, 높은 확률일수록 더 높은 관련성 의미.
• 문서 길이에 따라 동적으로 조정되는 하이퍼파라미터인 위치 가중치(β)와 길이 스케일링(γ)을 사용하여 짧은 및 긴 텍스트에서의 성능 균형을 맞춘다.
• 이 방법은 완전히 비지도이며, 추가적인 미세조정이나 추가 파rameter가 필요하지 않다.

실험 결과

연구 질문

• RQ1 인코더-디코더 PLM에서 프롬프트 기반 생성이 비지도 키페이즈 순위 매기기에서 임베딩 유사도를 효과적으로 대체할 수 있는가?
• RQ2 프롬프트 설계가 제로샷 설정에서 키페이즈 추출 성능에 어떤 영향을 미치는가?
• RQ3 이 방법은 미세조정 없이 다양한 PLM 아키텍처와 크기에서 일반화 가능한가?
• RQ4 위치 가중치 및 프롬프트 길이와 같은 하이퍼파라미터가 짧은 텍스트와 긴 텍스트에서 순위 매기기 성능에 어떤 영향을 미치는가?

주요 결과

• 6개의 벤치마크에서 5개의 키페이즈를 추출할 때 MDERank 대비 F1 점수를 34.18% 상회한다.
• 10개와 15개의 키페이즈를 추출할 경우 각각 F1 점수를 24.87%와 17.57% 향상시켜, 다양한 검색 상위-k 설정에서 일관된 우수성을 입증한다.
• Inspec, SemEval, DUC와 같은 다양한 데이터셋에서 강력한 성능 유지를 보이며, 최신 기술 수준의 기준 모델 대비 일관된 성능 향상을 기록한다.
• T5-small, T5-base, T5-large, BART-base, BART-large 등 다양한 PLM 아키텍처에서 미세조정 없이도 MDERank를 초월한다.
• 동적 위치 가중치에 최적의 하이퍼파라미터 γ는 1.2×10⁸로, 짧은 및 긴 문서에서의 성능 균형을 잘 맞춘다.
• 사례 연구 결과, PromptRank는 정답 키페이즈에 더 높은 점수를 할당하고, MDERank보다 더 잘 구분되는 무관한 후보를 식별하는 것으로 나타났다.