[논문 리뷰] Ask2Transformers: Zero-Shot Domain labelling with Pre-trained Language Models

Oscar Sainz, Germán Rigau|arXiv (Cornell University)|2021. 01. 07.

Natural Language Processing Techniques인용 수 11

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 사용하여 피팅 훈련 없이 WordNet의 동의어집( synsets )에 도메인 레이블을 할당하는 제로샷 도메인 레이블링 시스템인 Ask2Transformers를 제안한다. 자연어 프롬프트를 "문장의 도메인은 [도메인]과 관련이 있다"와 같이 구성함으로써, RoBERTa 및 BERT와 같은 사전 구축된 모델을 활용하여 BabelDomains 데이터셋에서 기존 최고 성능(F1: 92.14%)을 달성한다.

ABSTRACT

In this paper we present a system that exploits different pre-trained Language Models for assigning domain labels to WordNet synsets without any kind of supervision. Furthermore, the system is not restricted to use a particular set of domain labels. We exploit the knowledge encoded within different off-the-shelf pre-trained Language Models and task formulations to infer the domain label of a particular WordNet definition. The proposed zero-shot system achieves a new state-of-the-art on the English dataset used in the evaluation.

연구 동기 및 목표

• 사용자 정의 피팅 훈련 없이 사전 훈련된 언어 모델을 사용하여 WordNet 동의어집에 대한 제로샷 도메인 레이블링을 가능하게 한다.
• 대규모 사전 훈련된 모델에 인코딩된 도메인 지식의 전이 가능성에 대해 탐구하여 어휘 자원 강화에 기여한다.
• 사전에 정의된 카테고리에 국한되지 않고 임의의 도메인 레이블 세트를 지원하는 유연한 시스템을 개발한다.
• BabelDomains 데이터셋에서 해당 방법을 평가하고 기존의 분포 기반 및 그래프 기반 접근법과 비교한다.
• 이 접근법이 다국어 도메인 레이블링 및 단어 의미 해석 분야의 미래 응용 가능성에 대해 탐색한다.

제안 방법

• 입력으로 WordNet 정의를, 가설로 "문장의 도메인은 [도메인-레이블]과 관련이 있다"는 자연어 프롬프트를 구성한다.
• 자연어 추론(NLI)에 대해 사전에 훈련된 모델(예: RoBERTa, BERT)을 사용하여 정의와 도메인 가설 간의 함의 관계를 분류한다.
• 모델 출력에서 가장 높은 신뢰도 점수를 가진 도메인 레이블을 예측 레이블로 할당한다.
• 일반화 및 강인성을 향상시키기 위해 기술적 어휘(예: "a", "the", "a type of")를 포함하여 방법을 확장한다.
• 낮은 신뢰도 예측을 줄이기 위해 임계값 기반 필터링(예: 신뢰도 > 0.05)을 적용한다.
• 정의에서 도메인 관련 关련 키워드를 직접 예측하기 위해 마스크된 언어 모델링(MLM)을 대체 방법으로 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 피팅 훈련 없이 WordNet 정의에 대해 제로샷 도메인 레이블링을 수행할 수 있는가?
• RQ2 제안된 프롬프팅 기반 방법의 성능은 BabelDomains 데이터셋에서 기존의 분포 기반 및 그래프 기반 접근법과 비교해 어떻게 되는가?
• RQ3 재학습 없이도 이 방법이 임의의 도메인 레이블 세트에 얼마나 잘 일반화되는가?
• RQ4 다양한 사전 훈련된 모델과 프롬프팅 전략이 도메인 레이블링의 정확도와 강인성에 어떤 영향을 미치는가?
• RQ5 모델은 의미적으로 유사하지만 서로 다른 도메인(예: 'Biology' vs. 'Food and drink')을 구분할 수 있는가?

주요 결과

• Ask2Transformers(A2T) 시스템은 BabelDomains 데이터셋에서 마이크로 평균 F1 점수 92.14%를 기록하여 새로운 최고 성능을 달성한다.
• 가장 우수한 변형인 A2T + descriptors는 이전 최고 성능 방법(BabelDomains)보다 F1 점수를 10.52%p 향상시켰다.
• 기술적 어휘를 사용할 경우 정밀도와 재현율이 각각 92.14%로 균형 잡힌 성능을 유지한다.
• 분포 기반 방법(F1: 69.9%)과 BabelDomains(F1: 74.6%)를 상당한 격차로 앞서며 성능을 뛰어넘었다.
• 오류 분석 결과, 어휘적 중복으로 인해 의미적으로 유사한 도메인 간 오류가 주로 발생한다(예: 'Animals'와 'Biology' 또는 'Food and drink' 간 오류).
• 정성적 분석 결과, 마스크된 언어 모델링 예측은 종종 도메인 관련 키워드를 도출한다(예: 'phase space'에 대해 'physics' 예측), 이는 모델이 미세한 도메인 신호를 포착하고 있음을 시사한다.