[논문 리뷰] Knowledge Guided Metric Learning for Few-Shot Text Classification

Dianbo Sui, Yubo Chen외 4명|arXiv (Cornell University)|2020. 04. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 4

한 줄 요약

이 논문은 지식 기반(KB)에서 유래한 외부 지식을 활용하여 작업별 관계 네트워크 파라미터를 생성하는 지식 유도 미터릭 학습 프레임워크를 제안한다. 새로운 파라미터 생성 네트워크를 사용하여 미터릭을 다양한 작업에 맞게 적응시킴으로써, ARSC 데이터셋에서 87.93%의 정확도로 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들인 P-MAML을 초월한다.

ABSTRACT

The training of deep-learning-based text classification models relies heavily on a huge amount of annotation data, which is difficult to obtain. When the labeled data is scarce, models tend to struggle to achieve satisfactory performance. However, human beings can distinguish new categories very efficiently with few examples. This is mainly due to the fact that human beings can leverage knowledge obtained from relevant tasks. Inspired by human intelligence, we propose to introduce external knowledge into few-shot learning to imitate human knowledge. A novel parameter generator network is investigated to this end, which is able to use the external knowledge to generate relation network parameters. Metrics can be transferred among tasks when equipped with these generated parameters, so that similar tasks use similar metrics while different tasks use different metrics. Through experiments, we demonstrate that our method outperforms the state-of-the-art few-shot text classification models.

연구 동기 및 목표

• 제한된 레이블 데이터와 다양한 작업 유형으로 인한 낮은 성능 문제를 해결하기 위해.
• 외부 지식을 미터릭 학습에 통합하여 인간과 유사한 소수 샘플 학습을 모방하기 위해.
• 지식 기반 임베딩을 사용하여 작업별 관계 네트워크 파라미터를 생성하는 파라미터 생성 네트워크를 개발하기 위해.
• 다양한 작업에 맞는 다양한 미터릭을 가능하게 하여, 유사한 작업은 유사한 미터릭을 사용하고, 다른 작업은 서로 다른 미터릭을 사용하도록 하기 위해.
• 추론 시 역전파(backpropagation)가 필요 없이 소수 샘플 텍스트 분류에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 입력 문장을 밀도 높은 벡터 표현으로 인코딩하기 위해 BERT를 사용한다.
• 지식 기반 임베딩(NELL에서 BILINEAR 모델을 통해 확보)을 사용하여 외부 지식을 표현한다.
• 작업별 지식 기반 임베딩을 입력으로 받아 관계 네트워크의 파라미터를 생성하는 파라미터 생성 네트워크를 설계한다.
• 생성된 파라미터를 적용하여 각 작업에 맞게 관계 네트워크의 미터릭 함수를 조정한다.
• 소수 샘플 시나리오를 시뮬레이션하기 위해 에피소드 기반 메타학습을 사용하여 모델을 종합적으로 훈련한다.
• 클래스 프로토타입으로 평균 풀링된 문장 임베딩을 사용하고, 작업별 미터릭을 통해 유사도를 계산한다.

실험 결과

연구 질문

• RQ1 지식 기반에서 유래한 외부 지식이 소수 샘플 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 다양한 소수 샘플 작업에 적응하기 위해 작업별 미터릭을 어떻게 동적으로 생성할 수 있는가?
• RQ3 지식 기반 파라미터 생성 방식이 고정되거나 공유되는 미터릭보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ4 기존 최신 기술 수준의 소수 샘플 학습 방법보다 이 모델이 성능에서 뛰어나게 할 수 있는가?
• RQ5 성능 향상은 지식 통합 때문인지, 단지 모델 용량 증가 때문인가?

주요 결과

• 제안된 모델은 ARSC 데이터셋에서 평균 정확도 87.93%를 달성하여 이전 SOTA 방법인 P-MAML(86.65%)을 뛰어넘었다.
• 제거 실험 결과, 작업 관련 관계 네트워크를 제거하면 성능이 86.09%로 떨어지며, 제안된 구성 요소의 중요성을 확인한다.
• 모델 파rameter 수를 늘리되 작업 무관 네트워크를 사용한 교체 실험에서는 정확도가 86.40%에 그쳐, 성능 향상 요인이 지식 통합에서 비롯된 것임을 시사한다.
• 모델은 관계 기반 모델(Relation Network, Prototypical Network)과 최적화 기반 방법(MAML)을 포함한 벤치마크에서 모두 우수한 성능을 보였다.
• 추론 시 역전파가 필요 없어, 기울기 기반 메타학습 접근 방식보다 더 효율적이다.
• 결과는 지식 기반 미터릭 학습이 작업별 미터릭을 학습함으로써 다양한 소수 샘플 작업에 더 잘 적응할 수 있음을 보여준다.