[논문 리뷰] Induction Networks for Few-Shot Text Classification

Ruiying Geng, Binhua Li외 4명|arXiv (Cornell University)|2019. 02. 27.

Topic Modeling참고 문헌 33인용 수 16

한 줄 요약

이 논문은 소규모 지원 세트에서 동적 라우팅을 사용하여 일반화된 클래스 수준 표현을 학습하는 새로운 소수 샘플 텍스트 분류 모델인 Induction Networks를 제안한다. 이는 영어 감성 및 중국어 대화 의도 데이터셋에서 샘플 수준의 변동으로 인한 노이즈를 효과적으로 줄여 기존 최고 성능 모델들을 능가한다.

ABSTRACT

Text classification tends to struggle when data is deficient or when it needs to adapt to unseen classes. In such challenging scenarios, recent studies have used meta-learning to simulate the few-shot task, in which new queries are compared to a small support set at the sample-wise level. However, this sample-wise comparison may be severely disturbed by the various expressions in the same class. Therefore, we should be able to learn a general representation of each class in the support set and then compare it to new queries. In this paper, we propose a novel Induction Network to learn such a generalized class-wise representation, by innovatively leveraging the dynamic routing algorithm in meta-learning. In this way, we find the model is able to induce and generalize better. We evaluate the proposed model on a well-studied sentiment classification dataset (English) and a real-world dialogue intent classification dataset (Chinese). Experiment results show that on both datasets, the proposed model significantly outperforms the existing state-of-the-art approaches, proving the effectiveness of class-wise generalization in few-shot text classification.

연구 동기 및 목표

• 라벨이 부족한 소수 샘플 텍스트 분류 문제를 해결하기 위해, 단지 몇 개의 예시로만 새로운 클래스를 인식할 수 있도록 하는 것.
• 기존 방법들이 샘플 수준의 비교에 의존하여 같은 클래스 내의 언어적 변동에 민감한 점을 극복하기 위한 것.
• 지원 세트 내 다양한 샘플 간의 공통된 의미 패턴을 포착하여 일반적이고 시각 관점에 영향을 받지 않는 클래스 수준의 표현을 유도하는 모델 개발.
• 메타학습 프레임워크에서 샘플과 클래스 간의 계층적 관계를 모델링하여 미지의 클래스로의 일반화 능력을 향상시키기 위한 것.

제안 방법

• 쿼리 및 지원 세트 샘플의 고밀도이고 맥락에 맞는 표현을 생성하기 위해 인코더 모듈을 활용한다.
• 샘플 표현을 입력 캡슐로, 클래스 표현을 출력 캡슐로 간주하는 인덕션 모듈을 도입하며, 동적 라우팅을 통해 정보를 집계한다.
• 샘플 수준 특징을 클래스 수준 표현으로 매핑하기 위해 행렬 변환을 적용하여 구조적인 특징 전파를 가능하게 한다.
• 학습 가능한 파rameter 없이도 캡슐 간의 결합 계수를 동적으로 조정하는 협의 기반 라우팅 메커니즘을 사용하여 강건성을 향상시킨다.
• 쿼리와 클래스 표현 간의 유사도를 미분 가능한 거리 측정법을 사용해 계산하는 관계 모듈을 구현한다.
• 각 에피소드가 소수 샘플 분류 작업을 시뮬레이션하는 에피소드 기반 메타학습 전략을 사용해 전체 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 샘플 수준 비교에 의존하는 것 대신 클래스 수준 표현을 학습함으로써 소수 샘플 텍스트 분류 모델이 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 동적 라우팅이 같은 클래스 내 다양한 샘플 간의 공통된 의미 패턴을 얼마나 효과적으로 포착하는가?
• RQ3 제안된 Induction Network가 저자원 환경과 실제 환경 모두에서 기존 최고 성능 모델들을 능가하는가?
• RQ4 행렬 변환과 라우팅 메커니즘이 특징 분리 능력 향상과 모델 강건성 향상에 얼마나 기여하는가?

주요 결과

• 5-way 10-shot 설정에서 ARSC 중국어 대화 의도 데이터셋에서 제안된 Induction Network는 85.63%의 정확도를 달성하여 기준 모델인 Relation Network를 크게 능가한다.
• IMDB 감성 분류 데이터셋에서 모델은 최고 성능을 기록하며, 미지의 클래스로의 강력한 일반화 능력을 보여준다.
• 절단 실험 결과, 동적 라우팅을 3회 반복할 경우 최적의 성능을 기록하며, 추가 반복은 성능 향상에 기여하지 않는다.
• 동적 라우팅과 관계 모듈을 갖춘 모델는 합성 풀링(83.07%)이나 자기 어텐션(85.15%)을 사용한 변형보다 성능이 뛰어나 라우팅 메커니즘의 우수성을 확인한다.
• t-SNE 시각화 결과, Relation Network에 비해 모델이 더 분리 가능하고 의미적으로 일관된 텍스트 표현을 학습하는 것으로 확인된다.
• 행렬 변환 단계는 특징 분리 능력을 크게 향상시키며, 변환 후 지원 세트 샘플의 클러스터링이 더 명확해짐을 보여준다.