[논문 리뷰] Few-Shot Text Classification with Induction Network.

Ruiying Geng, Binhua Li외 4명|arXiv (Cornell University)|2019. 02. 27.

Topic Modeling인용 수 19

한 줄 요약

이 논문은 메타학습 프레임워크 내에서 동적 라우팅을 사용하여 지원 집합에서 일반화된, 클래스별 표현을 학습하여 소수의 샘플로 텍스트 분류 성능을 향상시키는 인덕션 네트워크를 제안한다. 이 모델은 영어 감성 분류 및 중국어 대화 의도 분류 데이터셋에서 기존 최고 성능 모델보다 평균 정확도가 3퍼센트 이상 높다.

ABSTRACT

Text classification tends to struggle when data is deficient or when it needs to adapt to unseen classes. In such challenging scenarios, recent studies often use meta learning to simulate the few-shot task, in which new queries are compared to a small support set on a sample-wise level. However, this sample-wise comparison may be severely disturbed by the various expressions in the same class. Therefore, we should be able to learn a general representation of each class in the support set and then compare it to new queries. In this paper, we propose a novel Induction Network to learn such generalized class-wise representations, innovatively combining the dynamic routing algorithm with the typical meta learning framework. In this way, our model is able to induce from particularity to university, which is a more human-like learning approach. We evaluate our model on a well-studied sentiment classification dataset (English) and a real-world dialogue intent classification dataset (Chinese). Experiment results show that, on both datasets, our model significantly outperforms existing state-of-the-art models and improves the average accuracy by more than 3%, which proves the effectiveness of class-wise generalization in few-shot text classification.

연구 동기 및 목표

• 학습 데이터가 부족하거나 새로운 클래스가 등장할 때 소수의 샘플로 텍스트 분류를 수행하는 데 도전하는 문제를 해결한다.
• 클래스 내 표현 방식의 다양성에 민감한, 샘플 기반 비교 방식의 메타학습의 한계를 극복한다.
• 동일한 클래스 내 샘플들 간의 일반화를 통해 강력한 클래스 수준의 표현을 형성하는 방법을 개발한다.
• 특정 예시에서 일반 개념으로의 추론을 인간과 유사하게 모방할 수 있도록, 새로운 아키텍처를 통해 메타학습 모델을 설계한다.
• 개별 예측에 초점을 맞추는 것이 아니라 클래스 수준의 일반화에 중점을 두어, 자원이 제한된 텍스트 분류 작업의 성능을 향상시킨다.

제안 방법

• 소규모 지원 집합에서 동적 라우팅을 사용하여 일반화된 클래스 수준의 표현을 학습하는 인덕션 네트워크를 도입한다.
• 메타학습 프레임워크와 동적 라우팅을 통합하여, 지원 샘플들을 주어진 클래스 프로토타입으로 통합하는 주의 기반 집계를 가능하게 한다.
• 각 개별 지원 샘플의 기여도를 클래스에 대한 관련성에 따라 적응적으로 가중하는 미분 가능한 라우팅 메커니즘을 사용한다.
• 에피소드 기반 학습을 통해 모델을 종합적으로 훈련하며, 각 에피소드는 지원 집합과 쿼리 집합을 포함하는 소수의 샘플 분류 작업을 시뮬레이션한다.
• 쿼리 샘플을 유도된 클래스 표현과 정렬하기 위해 주의 메커니즘을 적용하여, 낮은 샘플 수 상황에서도 정확한 예측을 가능하게 한다.
• 동적 라우팅의 인덕티브 바이어스를 활용하여 특정 예시에서 추상적인 클래스 수준의 개념으로 일반화함으로써, 표현 방식의 변동성에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소수의 지원 샘플에서 일반화된 클래스 표현을 학습하는 것이 개별 샘플 간 비교를 넘어서 소수의 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 텍스트 분류에서 기존의 샘플 기반 비교 방식과 비교해, 동적 라우팅을 통한 클래스 수준의 일반화는 어떤가?
• RQ3 제안된 인덕션 네트워크는 라벨이 제한된 다양한 텍스트 분류 작업에 얼마나 잘 일반화되는가?
• RQ4 대화 의도 분류와 같은 실제 저자원 환경에서도 모델의 성능 향상이 유지되는가?
• RQ5 특정 예시에서 일반 개념을 추론함으로써 인간과 유사한 인도적 추론을 모델이 달성할 수 있는가?

주요 결과

• 인덕션 네트워크는 영어 감성 분류 및 중국어 대화 의도 분류 데이터셋에서 기존 최고 성능 모델을 뚜렷이 능가한다.
• 기존 방법 대비 평균 정확도를 3퍼센트 이상 향상시켜 클래스 수준의 일반화가 효과적임을 입증한다.
• 성능 향상은 저자원 및 실제 환경의 텍스트 분류 벤치마크에서 일관되게 유지되어 강건성을 보여준다.
• 동적 라우팅 메커니즘이 동일한 클래스 내 다양한 표현 방식을 통합된 프로토타입으로 집계함으로써 더 나은 표현 학습을 가능하게 한다.
• 제한된 지원 예시에서 일반적인 클래스 수준의 특징을 유도할 수 있는 능력 덕분에, 미리 보지 않은 클래스로의 일반화 능력이 뛰어나다.
• 결과는 클래스 수준의 일반화가 개별 샘플 간 매칭을 넘어서 소수의 텍스트 분류 성능 향상에 핵심적인 요소임을 검증한다.