[논문 리뷰] A Survey of Active Learning for Text Classification using Deep Neural Networks

Christopher Schröder, Andreas Niekler|arXiv (Cornell University)|2020. 08. 17.

Machine Learning and Algorithms참고 문헌 104인용 수 60

한 줄 요약

이 논문은 텍스트 분류를 위한 신경망 기반 활성 학습(neural-network–based active learning)을 조사하고, 쿼리 전략의 분류 체계를 제시하며, NLP의 최근 NN 발전을 검토하고, 향후 연구를 위한 격차와 미해결 질문을 식별한다.

ABSTRACT

Natural language processing (NLP) and neural networks (NNs) have both undergone significant changes in recent years. For active learning (AL) purposes, NNs are, however, less commonly used -- despite their current popularity. By using the superior text classification performance of NNs for AL, we can either increase a model's performance using the same amount of data or reduce the data and therefore the required annotation efforts while keeping the same performance. We review AL for text classification using deep neural networks (DNNs) and elaborate on two main causes which used to hinder the adoption: (a) the inability of NNs to provide reliable uncertainty estimates, on which the most commonly used query strategies rely, and (b) the challenge of training DNNs on small data. To investigate the former, we construct a taxonomy of query strategies, which distinguishes between data-based, model-based, and prediction-based instance selection, and investigate the prevalence of these classes in recent research. Moreover, we review recent NN-based advances in NLP like word embeddings or language models in the context of (D)NNs, survey the current state-of-the-art at the intersection of AL, text classification, and DNNs and relate recent advances in NLP to AL. Finally, we analyze recent work in AL for text classification, connect the respective query strategies to the taxonomy, and outline commonalities and shortcomings. As a result, we highlight gaps in current research and present open research questions.

연구 동기 및 목표

• 텍스트 분류에 적용 가능한 능동적 학습 쿼리 전략의 분류 체계를 제공한다.
• 딥 뉴럴 네트워크와 현대 NLP 표현이 활성 학습에 어떻게 영향을 미치는지 조사한다.
• 텍스트 분류를 위한 NN 기반 활성 학습에 사용된 최근 실험과 데이터세트를 분석한다.
• 이 영역의 향후 연구를 이끄는 격차, 한계, 그리고 미해결 연구 질문을 식별한다.

제안 방법

• 입력 정보(데이터, 모델, 예측, 및 무작위 기준선)를 기반으로 한 질의 전략의 분류 체계를 개발한다.
• 신경망 불확실성, 소량 데이터 문제, 전이 학습을 활성 학습 설계와 연관시킨다.
• 임베딩, 언어 모델(LMs), 트랜스포머와 같은 최근 NN 기반 텍스트 분류의 발전을 조사하고 이를 활성 학습에 매핑한다.
• 연구들 간의 실험 설정을 검토하고 합성하며, 데이터세트, 모델, 질의 전략을 포함한다.
• 텍스트 분류를 위한 NN 기반 AL에서 공통점, 한계 및 미해결 연구 질문을 강조한다.

실험 결과

연구 질문

• RQ1 특히 심층 신경망의 경우 텍스트 분류에서 AL의 주요 질의 전략 범주는 무엇인가?
• RQ2 최근 NLP 발전(임베딩, 언어 모델, 전이 학습)이 활성 학습의 효과성과 관행에 어떤 영향을 미치는가?
• RQ3 텍스트 분류를 위한 NN 기반 AL에서 일반적인 실험 패턴과 격차는 무엇이며 어떤 미해결 질문이 남아 있는가?

주요 결과

• 불확실성 기반 및 불일치 기반 예측 전략이 텍스트 분류를 위한 NN 기반 AL를 지배하지만, 현대 NN 아키텍처에서의 효과성은 혼재되어 있다.
• NN 불확실성 추정은 여전히 도전적이며 특히 소량의 라벨 데이터에서 AL 성능을 제한할 수 있다.
• 전이 학습과 맥락화된 언어 모델은 데이터 필요성을 줄여 소량 데이터 구간에서 더 효과적인 AL을 가능하게 한다.
• 최근 실험은 데이터세트 간 가변성과 비교 가능성의 한계를 보여주며, 표준화된 벤치마크와 더 넓은 평가가 필요함을 시사한다.
• NLP 표현의 발전은 AL을 향상시킬 수 있지만, 실제 적용은 불확실성 및 데이터셋 특성의 신중한 처리가 필요하다.