[논문 리뷰] TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification

Sanskar Soni, Satyendra Singh Chouhan외 1명|arXiv (Cornell University)|2022. 03. 10.

Topic Modeling인용 수 7

한 줄 요약

TextConvoNet는 텍스트 입력을 문단 수준 임베딩 행렬로 재구성함으로써 문장 내 및 문장 간 n-gram 특징을 모두 캡처하는 2차원 합성곱 신경망 아키텍처를 제안한다. 이는 다중 척도의 2D 합성곱 연산을 가능하게 하며, 다섯 개인 텍스트 분류 벤치마크 데이터셋에서 최신 기술 모델들을 능가하는 정확도, F1 점수 및 소수의 학습 샘플 환경에서의 강건성을 보여준다.

ABSTRACT

In recent years, deep learning-based models have significantly improved the Natural Language Processing (NLP) tasks. Specifically, the Convolutional Neural Network (CNN), initially used for computer vision, has shown remarkable performance for text data in various NLP problems. Most of the existing CNN-based models use 1-dimensional convolving filters n-gram detectors), where each filter specialises in extracting n-grams features of a particular input word embedding. The input word embeddings, also called sentence matrix, is treated as a matrix where each row is a word vector. Thus, it allows the model to apply one-dimensional convolution and only extract n-gram based features from a sentence matrix. These features can be termed as intra-sentence n-gram features. To the extent of our knowledge, all the existing CNN models are based on the aforementioned concept. In this paper, we present a CNN-based architecture TextConvoNet that not only extracts the intra-sentence n-gram features but also captures the inter-sentence n-gram features in input text data. It uses an alternative approach for input matrix representation and applies a two-dimensional multi-scale convolutional operation on the input. To evaluate the performance of TextConvoNet, we perform an experimental study on five text classification datasets. The results are evaluated by using various performance metrics. The experimental results show that the presented TextConvoNet outperforms state-of-the-art machine learning and deep learning models for text classification purposes.

연구 동기 및 목표

• 기존 1D-CNN 모델이 단어 임베딩에서 문장 내 n-gram 특징만 추출하는 데에 한계가 있다는 문제를 해결하기 위해.
• 다차원 합성곱이 텍스트 데이터의 문장 간 관계를 캡처할 수 있는지 탐색하기 위해.
• 텍스트 시퀀스에 대해 2D 합성곱 연산을 가능하게 하는 새로운 입력 표현을 설계하기 위해.
• TextConvoNet의 성능을 이진 및 다중 클래스 텍스트 분류 벤치마크에서 평가하기 위해.
• 제한된 학습 데이터로 소수의 학습 샘플 설정에서의 일반화 능력을 입증하기 위해.

제안 방법

• 입력 텍스트를 각 행이 단어 벡터이고 각 열이 문장에 해당하는 문단 수준 임베딩 행렬로 표현하여 2D 합성곱을 가능하게 한다.
• 행렬 전역에 다중 척도의 2D 합성곱 필터를 적용하여 문장 내 및 문장 간 n-gram 특징을 추출한다.
• 공간 차원을 감소시키고 주요 특징을 유지하기 위해 2D 최대 풀링을 사용한다.
• 다양한 필터에서 유도된 특징 맵을 연결하여 완전 연결 분류 레이어에 입력한다.
• 다양한 필터 크기와 풀링 전략을 가진 여러 변종(TextConvoNet_4, TextConvoNet_6)을 활용하여 성능 최적화를 시도한다.
• 입력 표현 및 2D 합성곱의 성능에 미치는 영향을 평가하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 2D 합성곱 아키텍처는 문장 내 특징 외에도 문장 간 n-gram 특징을 효과적으로 캡처할 수 있는가?
• RQ2 입력을 2D 문단 수준 임베딩 행렬로 재구성하는 것이 기존 1D-CNN과 비교해 텍스트 분류 성능 향상에 기여하는가?
• RQ3 TextConvoNet은 낮은 데이터 환경, 특히 소수의 학습 샘플 설정에서 어떻게 성능을 발휘하는가?
• RQ4 이 아키텍처의 2D 합성곱 레이어에서 최적의 필터 크기와 풀링 전략은 무엇인가?
• RQ5 다양한 텍스트 분류 벤치마크에서 TextConvoNet은 최신 기술 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• TextConvoNet는 Dataset-2에서 최고의 정확도(0.901)와 F1 점수(0.883)를 기록하여 모든 베이스라인 모델을 능가했다.
• 다중 클래스 데이터셋(Dataset-4)에서 TextConvoNet_6는 정확도 0.829와 F1 점수 0.573를 기록했으며, 소수의 학습 샘플 설정에서 모든 모델 중 가장 낮은 테스트 오차율을 기록했다.
• 소수의 학습 샘플 설정에서 뛰어난 일반화 능력을 보였으며, 학습 데이터의 10%만으로도 낮은 테스트 오차율을 유지했다.
• 분석 실험 결과, 2D 합성곱 연산과 문단 수준의 입력 표현이 1D-CNN 기반 모델 대비 성능 향상에 크게 기여하는 것으로 확인되었다.
• TextConvoNet_6는 모든 메트릭에서 TextConvoNet_4를 일관되게 능가했으며, 더 큰 필터 크기가 특징 추출 능력을 향상시킨다는 점을 시사했다.
• TextConvoNet는 m 크기의 필터를 사용하여 Dataset-2에서 G-mean2 점수 0.896을 기록했으며, 이는 모든 클래스에서 균형 잡힌 성능을 보임을 의미한다.