[논문 리뷰] FewRel 2.0: Towards More Challenging Few-Shot Relation Classification

Tianyu Gao, Xu Han외 5명|arXiv (Cornell University)|2019. 10. 16.

Topic Modeling참고 문헌 21인용 수 5

한 줄 요약

FewRel 2.0은 소수 샘플 설정에서의 도메인 적응과 오픈 빈도 분류를 위한 도메인 특화 테스트 세트와 '해당 없음'(NOTA) 관계 옵션을 추가함으로써 더 도전적인 소수 샘플 관계 분류 벤치마크를 도입한다. BERT-PAIR 및 프로토타입 네트워크와 같은 최신 기술 모델들 역시 이 두 가지 과제에서 성능 저하를 겪으며, 실제 도메인 전이와 오픈 빈도 분류 상황에서 현재의 방법론에 심각한 격차가 있음을 드러낸다.

ABSTRACT

We present FewRel 2.0, a more challenging task to investigate two aspects of few-shot relation classification models: (1) Can they adapt to a new domain with only a handful of instances? (2) Can they detect none-of-the-above (NOTA) relations? To construct FewRel 2.0, we build upon the FewRel dataset (Han et al., 2018) by adding a new test set in a quite different domain, and a NOTA relation choice. With the new dataset and extensive experimental analysis, we found (1) that the state-of-the-art few-shot relation classification models struggle on these two aspects, and (2) that the commonly-used techniques for domain adaptation and NOTA detection still cannot handle the two challenges well. Our research calls for more attention and further efforts to these two real-world issues. All details and resources about the dataset and baselines are released at https: //github.com/thunlp/fewrel.

연구 동기 및 목표

• 소수 샘플 관계 분류 모델이 도메인 외부 환경에서 실질적인 평가가 부족한 문제를 해결하기 위해.
• 소수 샘플 학습에서 '해당 없음'(NOTA) 관계를 탐지할 수 있는지의 가능성을 조사하기 위해.
• 기존의 소수 샘플 학습 기법이 도메인 간으로 일반화되고 오픈 빈도 분류를 처리할 수 있는지 평가하기 위해.
• 생물의학 분야 테스트 세트와 NOTA 관계를 포함한 새로운 벤치마크를 공개하여 강력한 소수 샘플 일반화 연구를 촉진하기 위해.
• 현재 최신 기술 모델들이 소수 샘플 도메인 적응과 소수 샘플 NOTA 모두에서 상당한 어려움을 겪고 있음을 입증하며, 새로운 방법 개발의 필요성을 강조하기 위해.

제안 방법

• 원래의 위키백과 기반 FewRel 데이터셋과 대비하여 생물의학 분야의 PubMed 논문 코퍼스에서 새로운 테스트 세트를 구성하여 도메인 전이를 평가한다.
• 소수 샘플 설정에서 'NOTA' 관계 클래스를 도입하여, 쿼리가 샘플된 N개의 관계에 속하지 않을 수 있음을 반영한다.
• 학습 중에 NOTA를 추가의 N+1번째 클래스로 간주하여 프로토타입 네트워크와 BERT-PAIR 모델을 NOTA를 처리할 수 있도록 수정한다.
• 도메인 일반화 성능 향상을 위해 프로토타입 네트워크에 적대적 훈련을 적용하여 도메인 전이 영향을 최소화한다.
• NOTA 비율을 0%, 15%, 30%, 50%로 다양하게 설정하여, 점점 증가하는 미리 보지 않은 관계 비율에 대한 모델의 내구성을 평가한다.
• BERT 기반 문장 인코더와 관계 전용 분류 헤드를 사용하여 문맥 이해력과 제로 샘플 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 최신 기술 소수 샘플 관계 분류 모델들은 소수의 레이블이 있는 경우에도 새로운 도메인(예: 생물의학)으로 일반화할 수 있는가?
• RQ2 쿼리가 학습 기간 동안 나타나지 않은 '해당 없음'(NOTA) 관계에 속할 수 있는 경우 기존 소수 샘플 모델의 성능은 어떻게 되는가?
• RQ3 적대적 훈련과 미세조정이 소수 샘플 관계 분류에서 도메인 적응에 얼마나 기여하는가?
• RQ4 테스트 세트에서 NOTA 관계의 비율이 증가함에 따라 모델의 성능은 얼마나 저하되는가?
• RQ5 BERT-PAIR와 프로토타입 네트워크는 도메인 전이와 오픈 빈도 분류를 동시에 효과적으로 처리할 수 있는가?

주요 결과

• BERT-PAIR 및 프로토타입 네트워크를 포함한 최신 기술 모델들은 생물의학 도메인에서 테스트 시 성능 저하가 심각하게 발생하며, 최대 16–17점 감소함을 보이며 소수 샘플 도메인 적응 능력이 열악함을 시사한다.
• 적대적 훈련을 적용한 후에도 모델은 여전히 새로운 도메인에서 성능이 열악하며, 현재의 도메인 적응 기법이 소수 샘플 설정에서는 충분하지 않음을 보여준다.
• NOTA를 간과하는 모델(* 표시)은 정확도가 8–13점 감소함을 확인하여, NOTA를 클래스로 간주하는 것이 필수적임을 입증한다.
• BERT-PAIR는 소수 샘플 도메인 적응과 NOTA 모두에서 가장 높은 성능를 기록하며, 5-way 1-shot 도메인 적응에서 80.31%의 정확도와 50% NOTA 조건에서 5-way 5-shot에서 86.06%의 정확도를 기록하지만, 여전히 0% NOTA 기준 기준선에 뒤지지 않는다.
• 학습 세트에 생물의학 분야의 단지 1,000개의 인스턴스만 추가해도 BERT-PAIR의 정확도가 5-way 1-shot에서 72.30%로 향상되고, 5-way 5-shot에서는 80.50%로 상승함을 보여주며, 더 많은 데이터로 성능 향상 여지가 크다는 것을 시사한다.
• 0% NOTA와 50% NOTA 설정 간의 성능 격차는 여전히 크며, 1-shot에서는 8점, 5-shot에서는 7점의 격차를 보이며, NOTA 탐지 문제가 여전히 해결되지 않은 주요 과제임을 보여준다.