[논문 리뷰] FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation

Xu Han, Hao Zhu외 5명|arXiv (Cornell University)|2018. 10. 24.

Topic Modeling참고 문헌 20인용 수 43

한 줄 요약

이 논문은 100개의 관계와 70k 문장으로 구성된 대규모의 인간 주석 FewRel을 소개하고, 여러 개의 샷 학습 모델을 평가하여 인간이 현재 모델보다 현저히 우수하다는 것을 보여준다.

ABSTRACT

We present a Few-Shot Relation Classification Dataset (FewRel), consisting of 70, 000 sentences on 100 relations derived from Wikipedia and annotated by crowdworkers. The relation of each sentence is first recognized by distant supervision methods, and then filtered by crowdworkers. We adapt the most recent state-of-the-art few-shot learning methods for relation classification and conduct a thorough evaluation of these methods. Empirical results show that even the most competitive few-shot learning models struggle on this task, especially as compared with humans. We also show that a range of different reasoning skills are needed to solve our task. These results indicate that few-shot relation classification remains an open problem and still requires further research. Our detailed analysis points multiple directions for future research. All details and resources about the dataset and baselines are released on http://zhuhao.me/fewrel.

연구 동기 및 목표

• 대 distant supervision의 노이즈를 해결하기 위해 대규모의 고품질 샷-관계 분류 데이터셋을 만든다.
• RC에서 현대의 샷 학습 방법을 평가하여 베이스라인을 확립하고 인간 성능과의 차이를 식별한다.
• FewRel의 관계 표현의 다양성을 분석하고 향후 연구 방향을 제시한다.
• 자원과 베이스라인을 제공하여 NLP 태스크에서의 샷 학습을 발전시킨다.

제안 방법

• 위키피디아와 위키데이터에서 후보 문장을 원거리 감독으로 구성한 뒤 정확성을 위해 크라우드 필터링한다.
• 관계당 후보 집합을 엔티티 쌍당 한 개의 인스턴스로 제한하여 쌍의 memorize를 줄인다.
• 필터링 후 100개의 관계에 대해 각 관계당 700개의 양성 인스턴스를 샘플링한다.
• 표준 N-way K-shot 설정을 채택하고 여러 최신 샷 방법을 RC에 맞게 적용한다.
• 문장을 CNN 또는 PCNN 인코더로 표현하고 Finetune, kNN 같은 베이스라인은 물론 메타학습 및 그래프 기반 접근법을 평가한다.
• 재현성을 위해 데이터셋과 베이스라인을 공개적으로 릴리스한다.

실험 결과

연구 질문

• RQ1 샷 학습 방법이 대형의 고품질 FewRel 데이터셋에서 RC에서 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 최신 샷 모델들(예: 프로토타이핑 네트워크, GNN, SNAIL, 메타-네트워크)이 인간과 비교하여 RC에서 어떤 성과를 보이는가?
• RQ3 FewRel에서 관계를 정확히 분류하기 위해 필요한 추론 유형은 무엇인가(패턴 기반, 상식, 논리, 상호참조)?
• RQ4 현 샷 설정에서의 기존 RC 모델의 한계와 향후 연구가 개선할 수 있는 부분은 무엇인가?

주요 결과

• FewRel은 100개의 관계와 각 관계당 700개의 인스턴스로 총 70,000개의 인스턴스를 포함한다.
• 최신 샷 모델은 Vanilla CNN/PCNN 베이스라인보다 우수하지만 Still FewRel에서 인간 성능에 비해 뒤처진다.
• CNN 기반 샷 모델은 고급 방법을 사용하면 5-way/10-way 설정에서 Finetune이나 kNN 베이스라인보다 더 높은 정확도를 달성한다.
• 프로토타이핑 네트워크 및 관련 접근법은 여러 구성에서 평가된 모델 중 최상의 CNN 기반 결과를 달성한다.
• 사람은 모델보다 상당히 높은 정확도(예: 5-way 1-shot에서 92.22%)를 달성하여 성능의 여지가 남아 있음을 시사한다.