[논문 리뷰] Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction

Hui-Syuan Yeh, Thomas Lavergne외 1명|arXiv (Cornell University)|2022. 04. 21.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 BioMed-RoBERTa-base를 사용하여 관계 추출를 클로즈 테스트 과제로 변환함으로써 생물의학 관계 추출을 위한 효과적인 프롬프트를 체계적이고 자동으로 설계하는 방법을 제안한다. ChemProt 데이터셋에서 표준 미세조정 대비 14.21 F1 향상과 기존 최고 성능 모델(SoSciFive-Large) 대비 1.14 F1 향상을 달성하여 소수의 훈련 데이터로도 뛰어난 소수 샘플 성능과 강건성을 입증한다.

ABSTRACT

Relation extraction is a core problem for natural language processing in the biomedical domain. Recent research on relation extraction showed that prompt-based learning improves the performance on both fine-tuning on full training set and few-shot training. However, less effort has been made on domain-specific tasks where good prompt design can be even harder. In this paper, we investigate prompting for biomedical relation extraction, with experiments on the ChemProt dataset. We present a simple yet effective method to systematically generate comprehensive prompts that reformulate the relation extraction task as a cloze-test task under a simple prompt formulation. In particular, we experiment with different ranking scores for prompt selection. With BioMed-RoBERTa-base, our results show that prompting-based fine-tuning obtains gains by 14.21 F1 over its regular fine-tuning baseline, and 1.14 F1 over SciFive-Large, the current state-of-the-art on ChemProt. Besides, we find prompt-based learning requires fewer training examples to make reasonable predictions. The results demonstrate the potential of our methods in such a domain-specific relation extraction task.

연구 동기 및 목표

• 표준 미세조정 대신 프롬프트 기반 학습을 사용하여 생물의학 관계 추출 성능을 향상시키기.
• 수동 작업 없이 체계적이고 자동화된 방법으로 포괄적인 프롬프트를 생성하기.
• ChemProt 데이터셋에서 전체 데이터 및 소수 샘플 설정 모두에서 프롬프트 설계의 효과를 평가하기.
• 다양한 순위 매기기 점수를 사용하여 최적의 프롬프트 선택 전략을 규명하기.
• 도메인 특화 NLP 과제에서 높은 성능를 유지하면서 데이터 요구량을 줄이는 프롬프팅의 가능성을 입증하기.

제안 방법

• 관계 추출을 마스크된 관계 레이블을 가진 템플릿을 생성함으로써 클로즈 테스트 과제로 재구성하기.
• 문법적 및 의미적 일관성을 유지하는 템플릿 기반 프레임워크를 사용하여 다양한 프롬프트를 체계적으로 생성하기.
• 어휘 유사도, BERT 기반 유사도, 신뢰도 점수와 같은 다수의 순위 매기기 점수를 사용하여 가장 효과적인 프롬프트를 선택하기.
• 선택된 프롬프트를 사용하여 표준 미세조정 대신 BioMed-RoBERTa-base를 ChemProt 데이터셋에 미세조정하기.
• 일반화 능력과 데이터 효율성을 평가하기 위해 전체 데이터 및 소수 샘플 훈련 제도에서 성능을 평가하기.
• F1 점수를 사용하여 표준 미세조정 및 현재 최고 성능 모델(SoSciFive-Large)과의 결과를 비교하기.

실험 결과

연구 질문

• RQ1 표준 미세조정 대비 프롬프트 기반 학습이 생물의학 텍스트에서 관계 추출 성능을 크게 향상시킬 수 있는가?
• RQ2 수동 프롬프트 엔지니어링 없이 도메인 특화 과제에 대해 체계적이고 자동화된 프롬프트 생성 방법이 얼마나 효과적인가?
• RQ3 소수 샘플 설정에서 프롬프트 기반 학습이 적은 훈련 예제로도 높은 성능를 유지하는가?
• RQ4 어휘 기반, 임베딩 기반, 신뢰도 기반 중 어떤 프롬프트 선택 전략이 생물의학 관계 추출에서 가장 높은 성능를 낳는가?
• RQ5 ChemProt 벤치마크에서 프롬프트 기반 학습이 현재 최고 성능 모델(SoSciFive-Large)과 비교해 어떻게 성능를 낼 수 있는가?

주요 결과

• 프롬프트 기반 미세조정은 ChemProt 데이터셋에서 표준 미세조정 대비 14.21 F1 포인트 향상 달성.
• 이전 최고 성능 모델인 SciFive-Large를 1.14 F1 포인트 초월하여 ChemProt에서 새로운 최고 성능 기록.
• 소수 샘플 설정에서도 강력한 성능를 유지하여 표준 미세조정 대비 데이터 의존도가 낮다는 것을 시사.
• 다양한 순위 매기기 점수를 사용한 프롬프트 선택이 성능 향상에 크게 기여하였으며, 특히 신뢰도 기반 및 BERT 기반 점수에서 높은 효과성 입증.
• 수동 작업 없이 체계적인 프롬프트 생성이 경쟁력 있는 성능를 낳아 도메인 특화 NLP에서 확장성과 효율성을 입증.
• 클로즈 테스트 프롬프트 형식은 관계 추출 과제를 마스크된 언어 모델링 목적어로 효과적으로 변환하여 사전 학습 모델의 직접적 적응 가능하게 했다.