[논문 리뷰] Integrating Semantic Knowledge to Tackle Zero-shot Text Classification

Jingqing Zhang, Piyawat Lertvittayakumjorn외 1명|arXiv (Cornell University)|2019. 03. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 17

한 줄 요약

이 논문은 단어 임bedding, 클래스 설명, 클래스 계층 구조, 그리고 ConceptNet을 통합하는 두 단계의 CNN 기반 프레임워크를 제안하여, 레이블이 없는 클래스에 대해 제로샷 텍스트 분류를 가능하게 한다. 주제 번역을 통한 데이터 증강과 의미 지식을 활용한 특징 증강을 조합함으로써, 실제 세계 데이터셋에서 레이블이 없는 클래스에 대한 학습 데이터가 필요 없이 최신 기술 수준의 전체 정확도를 달성한다.

ABSTRACT

Insufficient or even unavailable training data of emerging classes is a big challenge of many classification tasks, including text classification. Recognising text documents of classes that have never been seen in the learning stage, so-called zero-shot text classification, is therefore difficult and only limited previous works tackled this problem. In this paper, we propose a two-phase framework together with data augmentation and feature augmentation to solve this problem. Four kinds of semantic knowledge (word embeddings, class descriptions, class hierarchy, and a general knowledge graph) are incorporated into the proposed framework to deal with instances of unseen classes effectively. Experimental results show that each and the combination of the two phases achieve the best overall accuracy compared with baselines and recent approaches in classifying real-world texts under the zero-shot scenario.

연구 동기 및 목표

• 소셜 미디어나 의료 진단과 같은 동적 도메인에서 흔히 발생하는, 레이블이 없는 훈련 데이터가 없는 새로운 클래스의 텍스트 분류 문제를 해결한다.
• 기존의 제로샷 텍스트 분류 방법이 본래의 클래스와 새로운 클래스 간의 의미적 대응에 의존하는 한계를 극복한다.
• 다양한 유형의 의미 지식을 활용하여 새로운 클래스로 일반화할 수 있는 유연하고 종단간 프레임워크를 개발한다.
• 혁신적인 데이터 및 특징 증강 기법을 통해 제로샷 환경에서 모델의 강건성과 정확도를 향상시킨다.

제안 방법

• 두 단계 프레임워크 제안: 먼저 본 적 있는 클래스 또는 없는 클래스에 속하는지 분류하는 거시적 단계를 거친 후, 특정 클래스로 할당하는 미시적 단계를 수행한다.
• 주제 번역을 통한 데이터 증강 구현: 단어 임베딩을 사용하여 한 클래스의 의미를 다른 클래스로 이전함으로써, 없는 클래스 데이터를 시뮬레이션한다.
• 의미 지식(단어 임베딩, 클래스 설명, 클래스 계층 구조, ConceptNet)을 관계 벡터에 통합하여 없는 클래스 표현을 위한 특징 증강 수행.
• 모든 분류기를 본 적 있는 클래스의 레이블 데이터에만 훈련시켜, 학습 과정에서 없는 클래스의 애너테이션에 의존하지 않도록 한다.
• 모든 단계에서 컨volutional 신경망(CNNs)을 사용하여 계층적인 텍스트 특징을 추출하고 종단간 학습을 지원한다.
• 여러 의미 지식 소스를 통합된 표현 공간에 통합하여, 없는 클래스로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 제로샷 텍스트 분류에서 두 단계의 딥러닝 프레임워크가 본 적 있는 클래스와 없는 클래스를 효과적으로 구분할 수 있는가?
• RQ2 단어 임베딩, 클래스 설명, 계층 구조, 지식 그래프 등 여러 의미 지식 소스를 통합할 경우 제로샷 일반화 능력이 어떻게 향상되는가?
• RQ3 주제 번역 기반 데이터 증강이 없는 클래스 인스턴스 탐지에 얼마나 기여하는가?
• RQ4 의미 지식을 활용한 특징 증강이 본 적 있는 클래스에서 없는 클래스로 지식을 전달하는 데 얼마나 효과적인가?
• RQ5 제안된 프레임워크는 엄격한 제로샷 설정에서 기존의 베이스라인 및 최신 기술 수준의 방법보다 뛰어난 성능을 달성하는가?

주요 결과

• 제안된 프레임워크는 20 Newsgroups 및 DBPedia 데이터셋에서 모든 설정에서 가장 높은 전체 정확도를 기록했으며, 모든 베이스라인 및 최근 접근 방식을 능가했다.
• 데이터 증강과 특징 증강의 조합이 없는 클래스 인스턴스 탐지 능력을 크게 향상시켰으며, 주제 번역이 거시적 단계 분류기 성능을 향상시켰다.
• 통합된 의미 지식을 활용한 특징 증강은 효과적인 지식 전달을 가능하게 하여, 레이블 예시 없이도 새로운 클래스로 일반화할 수 있도록 했다.
• 프레임워크는 높은 유연성을 보였으며, 분류기나 지식 소스와 같은 개별 구성 요소를 별도로 교체하거나 향상시킬 수 있었다.
• 본 적 있는 클래스에서도 뛰어난 성능를 유지하면서도, 없는 클래스에 대해 최신 기술 수준의 정확도를 달성하여 효과적인 제로샷 일반화를 입증했다.
• 실험을 통해 메서드가 엄격한 제로샷 시나리오에서도 작동함을 확인했으며, 훈련 클래스와 테스트 클래스 간 의미적 대응이 필요하지 않았다.