[논문 리뷰] Classifying textual data: shallow, deep and ensemble methods

Laura Anderlucci, Lucia Guastadisegni외 1명|arXiv (Cornell University)|2019. 02. 18.

Text and Document Classification Technologies참고 문헌 15인용 수 5

한 줄 요약

이 논문은 이탈리아 통신사의 매우 희박하고 짧은 텍스트 고객 서비스 통화를 분류하기 위해 얕은 학습, 딥 러닝, 앙상블 방법을 평가한다. 깊이 있는 신경망이 기존 방법을 능가하는 것으로 나타났지만, 얕은 모델과 깊이 있는 모델을 조합한 앙상블 방법이 더 뛰어난 강건성과 정확도를 보이며, 잘못 분류율을 거의 제로 수준으로 낮춘다.

ABSTRACT

This paper focuses on a comparative evaluation of the most common and modern methods for text classification, including the recent deep learning strategies and ensemble methods. The study is motivated by a challenging real data problem, characterized by high-dimensional and extremely sparse data, deriving from incoming calls to the customer care of an Italian phone company. We will show that deep learning outperforms many classical (shallow) strategies but the combination of shallow and deep learning methods in a unique ensemble classifier may improve the robustness and the accuracy of "single" classification methods.

연구 동기 및 목표

• 실제로 고차원적이며 극도로 희박한 텍스트 데이터셋(고객 서비스 시스템에서 유래)에 대해 전통적(얕은 학습), 딥 러닝, 앙상블 분류 방법의 성능을 평가하는 것.
• 평균 5개 단어 이하의 매우 짧고 희박한 고객 서비스 통화(고차원적 단어 벡터)를 분류하는 데 도전하는 것.
• 얕은 학습과 깊이 있는 학습 모델을 앙상블 학습을 통해 조합할 경우, 개별 방법보다 분류 정확도와 강건성이 향상되는지 조사하는 것.
• 자동 티켓 분류를 위한 실용적이고 구현 가능한 솔루션을 제공하여 고객 서비스의 효율성과 속도를 향상시키는 것.

제안 방법

• 나이브 베이즈(베르누이 분포 사용), 코사인 거리 기반 k-최근접 이웃(k-NN), 시그모이드 커널을 사용한 서포트 벡터 머신(SVM)을 포함한 전통적인 얕은 학습 방법을 적용하였다.
• 딥 러닝 모델은 원시 텍스트 특징에서 계층적 표현을 학습하기 위해 피드포워드 딥 네ural 네트워크(DNNs)를 사용하였다.
• 고차원적 희박 데이터에 강건한 특성을 지닌 랜덤 포레스트(RFs)를 비교 기준으로 활용하였다.
• 다섯 개의 기본 모델(nB, k-NN, SVM, DNNs, RFs)의 예측을 다수결 투표 방식으로 조합하여 앙상블 분류기 구축하였다.
• k-NN에서 주로 코사인 유사도를 사용하였으며, 이는 희박한 벡터 공간에서 문서 유사도 측정에도 사용되었다.
• 정밀도, 재현율, F-점수를 클래스별로 평가하였으며, 교차 검증을 통해 하이퍼파라미터를 튜닝하고 강건성을 확보하였다.

실험 결과

연구 질문

• RQ1 Naïve-Bayes, k-NN, SVM 등의 전통적인 얕은 학습 방법이 매우 짧고 희박한 고객 서비스 통화 텍스트에서 어떻게 성능을 보이는가?
• RQ2 딥 뉴럴 네트워크가 희박하고 고차원적이며 짧은 텍스트 데이터를 분류하는 데 있어 얕은 방법보다 어느 정도 뛰어나게 성능을 내는가?
• RQ3 다양한 얕은 학습과 깊이 있는 학습 모델의 앙상블이 개별 방법보다 더 높은 정확도와 강건성을 달성할 수 있는가?
• RQ4 이 특정 텍스트 분류 작업에서 모델의 다양성이 앙상블 성능에 어떤 영향을 미치는가?
• RQ5 제안된 앙상블 전략은 자동 고객 서비스 티켓 라우팅에 실질적으로 구현 가능하고 효과적인가?

주요 결과

• 딥 뉴럴 네트워크(DNNs)가 대부분의 전통적인 얕은 학습 방법보다 뛰어난 성능을 보였으며, 특히 ISS 및 TOP 카테고리에서 모든 클래스에 걸쳐 높은 정밀도, 재현율, F-점수를 기록하였다.
• 앙상블 분류기는 가장 높은 전체 정확도와 F-점수를 기록했으며, ISS 및 TOP 클래스에서는 완벽한 1.00 F-점수를 기록했고, ACT 및 BAL 클래스는 0.99의 F-점수를 기록하여 가장 뛰어난 개별 모델조차도 뛰어넘었다.
• 시그모이드 커널을 사용한 SVM, 베르누이 분포를 사용한 나이브 베이즈, 코사인 거리 기반 1-NN은 상위 성능을 보였으며, 대부분의 클래스에서 F-점수 0.98 이상을 기록하였다.
• 랜덤 포레스트와 DNNs는 강력한 성능을 보였으며, 가장 빈도가 높은 클래스에서 각각 F-점수 0.99와 0.98을 기록하였다. 다만 DNNs의 경우 더 높은 계산 비용이 수반되었다.
• 앙상블 방법은 잘못 분류율을 극도로 낮춰, 모델을 조합함으로써 개별 모델의 성능을 뛰어넘는 강건성과 일반화 능력 향상을 입증하였다.
• 낮은 다양성(유일의 Q가 최소 0.84)에도 불구하고 앙상블은 매우 효과적이었으며, 이는 이 맥락에서 높은 성능을 내기 위해 다양성이 반드시 필수적인 조건은 아님을 시사한다.