[논문 리뷰] A Text Classification Survey: From Shallow to Deep Learning

Qian Li, Hao Peng외 6명|arXiv (Cornell University)|2020. 08. 02.

Text and Document Classification Technologies인용 수 11

한 줄 요약

이 종합 검토는 1961년에서 2020년까지의 텍스트 분류 방법에 대한 포괄적이고 최신의 리뷰를 제공하며, 얕은 학습과 깊이 있는 학습 접근법을 모두 포함한다. 텍스트 유형과 모델 아키텍처를 기반으로 한 분류 체계를 제안하고, 기준 데이터셋과 평가 지표를 분석하며, 성능 및 적용 가능성 측면에서의 강점과 한계, 향후 연구 방향에 대한 통찰을 제공한다.

ABSTRACT

Text classification is the most fundamental and essential task in natural language processing. The last decade has seen a surge of research in this area due to the unprecedented success of deep learning. Numerous methods, datasets, and evaluation metrics have been proposed in the literature, raising the need for a comprehensive and updated survey. This paper fills the gap by reviewing the state of the art approaches from 1961 to 2020, focusing on models from shallow to deep learning. We create a taxonomy for text classification according to the text involved and the models used for feature extraction and classification. We then discuss each of these categories in detail, dealing with both the technical developments and benchmark datasets that support tests of predictions. A comprehensive comparison between different techniques, as well as identifying the pros and cons of various evaluation metrics are also provided in this survey. Finally, we conclude by summarizing key implications, future research directions, and the challenges facing the research area.

연구 동기 및 목표

• 1961년에서 2020년까지 텍스트 분류 방법에 대한 포괄적이고 최신의 리뷰를 제공하여 분야 내 연구의 복잡성과 양이 증가하는 데 대응한다.
• 텍스트 유형과 특징 추출 및 분류에 사용되는 모델을 기반으로 텍스트 분류의 통합 분류 체계를 수립한다.
• 얕은 학습과 깊이 있는 학습 접근법에서의 기술적 발전, 기준 데이터셋, 평가 지표를 분석한다.
• 성능 및 적용 가능성 측면에서의 장단점을 부각시키며, 다양한 기법을 체계적으로 비교한다.
• 연구자와 실무자들이 고려해야 할 주요 과제와 향후 연구 방향을 규명한다.

제안 방법

• 저자들은 1961년에서 2020년까지 60여 년에 걸친 문헌을 체계적으로 검토한다.
• 입력 텍스트 유형과 특징 추출 및 분류에 사용되는 모델을 기반으로 텍스트 분류 접근법을 분류하는 분류 체계를 개발한다.
• 기존 기계 학습 기반 모델과 신경망 기반 아키텍처를 포함한 다양한 얕은 학습 및 깊이 있는 학습 모델을 평가하고 비교한다.
• 모델 성능과 재현 가능성을 평가하기 위해 기준 데이터셋과 평가 지표를 상세히 분석한다.
• 기술적 강점, 한계, 다양한 텍스트 분류 작업에 대한 적합성 측면에서 기법 간 비교 분석을 제공한다.
• 식별된 격차와 과제를 바탕으로 핵심 함의를 요약하고 향후 연구 방향을 제시하는 방법론을 포함한다.

실험 결과

연구 질문

• RQ1 1961년에서 2020년까지 텍스트 분류 분야에서의 주요 기술적 발전, 특히 얕은 학습 모델에서 깊이 있는 학습 모델로의 전환은 무엇인가?
• RQ2 다양한 유형의 텍스트(예: 짧은, 긴, 공식적인, 비공식적인)는 분류 모델의 선택과 성능에 어떤 영향을 미치는가?
• RQ3 텍스트 분류 분야에서 가장 널리 사용되는 기준 데이터셋과 평가 지표는 무엇이며, 이는 모델 비교와 재현 가능성에 어떤 영향을 미치는가?
• RQ4 얕은 학습 접근법과 깊이 있는 학습 접근법은 텍스트 분류 과제에서 각각 어떤 강점과 약점이 있는가?
• RQ5 더 깊이 있는 연구가 필요한 텍스트 분류 분야의 주요 과제와 열린 문제는 무엇인가?

주요 결과

• 이 검토는 기존 기계 학습 모델에서 딥 네트워크로의 명확한 진화를 규명하며, 복잡하고 대규모 텍스트 분류 과제에서 깊이 있는 학습 모델이 뛰어난 성능을 보임을 확인한다.
• 제안된 분류 체계는 텍스트 특성과 모델 아키텍처를 기반으로 다양한 텍스트 분류 방법을 체계적으로 정리하고 비교할 수 있도록 한다.
• 20 Newsgroups, AG News, IMDB와 같은 기준 데이터셋은 연구 간 일관되게 사용되어 성능 평가의 공통 기준을 제공한다.
• 정확도, F1 점수, 매크로 평균 F1 등 평가 지표가 널리 사용되지만, 이 검토는 연구 간 지표 선택 및 보고의 일관성 부족을 지적한다.
• 특히 트랜스포머 기반 아키텍처를 포함한 깊이 있는 학습 모델은 대부분의 기준에서 기존 모델을 능가하지만, 해석 가능성과 데이터 효율성 측면에서 도전 과제를 안고 있다.
• 논문은 모델 일반화 능력, 적대적 예제에 대한 강건성, 자원이 제한된 환경에서의 평가 프로토콜 개선 필요성 등의 지속적인 과제를 규명한다.