[논문 리뷰] AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT

Aman Priyanshu, Supriti Vijay|arXiv (Cornell University)|2022. 11. 14.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

AdaptKeyBERT는 후보어 및 시드어 임베딩에 대한 정규화된 어텐션을 사용하는 어텐션 기반 미세조정 프레임워크를 제안하여 KeyBERT의 소수의 샘플 및 제로샷 도메인 적응을 가능하게 한다. FAO-780 및 CERN-290와 같은 저자원 도메인에서 F1 점수 최대 12.58% 향상으로 키워드 추출 성능을 향상시키며, 전체 재학습 없이도 효율적인 적응을 가능하게 한다.

ABSTRACT

Keyword extraction has been an important topic for modern natural language processing. With its applications ranging from ontology generation, fact verification in summarized text, and recommendation systems. While it has had significant data-intensive applications, it is often hampered when the data set is small. Downstream training for keyword extractors is a lengthy process and requires a significant amount of data. Recently, Few-shot Learning (FSL) and Zero-Shot Learning (ZSL) have been proposed to tackle this problem. Therefore, we propose AdaptKeyBERT, a pipeline for training keyword extractors with LLM bases by incorporating the concept of regularized attention into a pre-training phase for downstream domain adaptation. As we believe our work has implications to be utilized in the pipeline of FSL/ZSL and keyword extraction, we open-source our code as well as provide the fine-tuning library of the same name AdaptKeyBERT at https://github.com/AmanPriyanshu/AdaptKeyBERT.

연구 동기 및 목표

• 생물의학, 법학, 고에너지 물리학과 같은 전문 도메인에서 저자원 키워드 추출 문제를 해결하기 위해.
• 대규모 레이블된 데이터가 필요 없이 효과적인 소수의 샘플 및 제로샷 도메인 적응을 가능하게 하기 위해.
• 어텐션 기반 임베딩 정련을 통해 사전 훈련된 BERT 기반 모델인 KeyBERT의 도메인 특화 환경에서의 성능을 향상시키기 위해.
• 간편한 배포 및 미세조정을 위한 오픈소스, API 통합 라이브러리를 제공하기 위해.

제안 방법

• 후보 키워드와 시드어 간의 유사도 가중치를 계산하기 위해 KeyBERT의 훈련 모듈에 정규화된 어텐션을 통합한다.
• 가중치가 부여된 문서 임베딩과 시드어 임베딩을 어텐션을 통해 조합하며, 이는 학습 가능한 정규화자 α ∈ [0,1]에 의해 제어된다.
• 어텐션으로 계산된 가중치를 사용해 후보 임베딩을 재구성하는 하이브리드 손실 함수를 사용하여 도메인 관련성을 향상시킨다.
• 인기 있는 키워드를 전체 데이터셋의 10% 이상에서 등장하는 것으로 정의하고, 제로샷 적응을 위한 시드어로 사용한다.
• 가장 빈번한 키워드를 포함하는 샘플을 선택하여 소수의 샘플 적응을 적용하며, 효율성을 위해 데이터셋의 10% 이내로 제한한다.
• 소수의 샘플 및 제로샷 모듈을 함께 유사도 계산을 통해 결합하여 통합 도메인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어텐션 기반 임베딩 재구성은 저자원 도메인에서 키워드 추출 성능을 향상시킬 수 있는가?
• RQ2 소수의 샘플 및 제로샷 학습의 통합은 키워드 추출에서 도메인 적응을 어떻게 향상시키는가?
• RQ3 정규화된 어텐션은 기존 KeyBERT에 비해 추출된 키워드의 관련성을 얼마나 향상시키는가?
• RQ4 하이브리드 소수의 샘플 및 제로샷 접근 방식은 다양한 도메인에서 개별 적응 전략을 초월하는가?

주요 결과

• FAO-780 데이터셋에서 AdaptKeyBERT는 소수의 샘플 설정에서 기준 KeyBERT(35.138) 대비 F1 점수 12.58% 향상(39.559)을 달성했다.
• FAO-780에서 제로샷 설정에서는 기준값(35.138)에서 F1 점수 7.88% 향상(37.908)을 기록했다.
• 소수의 샘플 및 제로샷을 결합한 접근 방식은 FAO-780에서 F1 점수 39.938를 기록하여 기준값 대비 13.66% 향상되었다.
• CERN-290 데이터셋에서는 소수의 샘플 버전이 F1 점수 9.95% 향상(25.627에서 28.177), 통합 방법은 F1 점수 28.883를 기록했다.
• 제로샷 모듈은 CERN-290에서 F1 점수 3.81% 향상되었지만, 거짓 음성 수 증가로 인해 재현율은 약간 감소했다.
• 모델은 언어적으로 복잡한 도메인에서도 일관된 일반화 성능을 보이며, 저자원 환경에서의 강건성을 입증했다.