[논문 리뷰] Auto Analysis of Customer Feedback using CNN and GRU Network

Deepak Gupta, Pabitra Lenka외 3명|arXiv (Cornell University)|2017. 10. 12.

Sentiment Analysis and Opinion Mining참고 문헌 12인용 수 3

한 줄 요약

이 논문은 수작업 특징 공학 없이 네 가지 언어(영어, 프랑스어, 스페인어, 일본어)에서 자동 고객 피드백 분류를 위한 딥러닝 접근법을 제안한다. 이는 컨volutional 신경망(CNN)과 게이트드 순환 유닛(GRU)을 조합한 것으로, IJCNLP 공동 과제에서 프랑스어 분류에서 2위(정확도 71.75%)를 기록했고, 다른 언어들에서도 상위 3위 이내 성과를 보이며 다국어 성능이 뛰어나다는 것을 입증한다. 이는 클래스 불균형과 짧은 피드백 문제에도 불구하고 성능이 우수하다.

ABSTRACT

Analyzing customer feedback is the best way to channelize the data into new marketing strategies that benefit entrepreneurs as well as customers. Therefore an automated system which can analyze the customer behavior is in great demand. Users may write feedbacks in any language, and hence mining appropriate information often becomes intractable. Especially in a traditional feature-based supervised model, it is difficult to build a generic system as one has to understand the concerned language for finding the relevant features. In order to overcome this, we propose deep Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) based approaches that do not require handcrafting of features. We evaluate these techniques for analyzing customer feedback sentences in four languages, namely English, French, Japanese and Spanish. Our empirical analysis shows that our models perform well in all the four languages on the setups of IJCNLP Shared Task on Customer Feedback Analysis. Our model achieved the second rank in French, with an accuracy of 71.75% and third ranks for all the other languages.

연구 동기 및 목표

• 고객 피드백을 댓글, 요청, 버그, 불만, 의미 없는 내용, 미결정의 여섯 가지 사전 정의된 카테고리로 분류할 수 있는 일반적이고 자동화된 시스템을 개발하는 것.
• 각 언어와 도메인에 맞게 언어별 특징 공학이 필요한传통적 지도 학습 모델의 한계를 극복하는 것.
• 수작업 특징에 의존하지 않고, 딥러닝 모델(CNN 및 CNN+GRU)이 다국어 고객 피드백 데이터에서 어떻게 성능을 내는지 평가하는 것.
• 언어별 사전 학습된 임베딩과 데이터 번역이 모델의 다국어 일반화 능력에 미치는 영향을 조사하는 것.
• 오류 사례를 분석하고, 모호하거나 짧거나 불완전한 피드백 문장과 같은 주요 과제를 특정하는 것.

제안 방법

• 저자들은 문장 임베딩에서 局부 n-그램 특징을 추출하기 위해 CNN 기반 아키텍처를 사용하고, 차원을 줄이기 위해 최대 풀링 레이어를 적용한다.
• 두 번째 모델은 피드백 문장의 순차적 의존성을 포착하기 위해 CNN와 게이트드 순환 유닛(GRU)을 조합하여 맥락 모델링을 향상시킨다.
• 단어 임베딩은 영어에 대해서는 사전 학습된 Google Word2Vec으로 초기화하고, 다른 언어들은 가용한 사전 학습된 임베딩이 없어 무작위 초기화를 사용한다.
• 시스템은 영어 피드백 데이터로 훈련되고, 원본 언어 테스트 세트와 비-영어 테스트 세트의 영어 번역본을 모두 평가 대상으로 삼는다.
• 모델들은 여섯 가지 피드백 카테고리에 대해 교차 엔트로피 손실과 소프트맥스 분류를 사용해 미세 조정된다.
• 오류 분석은 잘못 분류된 인스턴스를 모호한 피드백, 대상 엔터티 누락, 너무 짧은 문장으로 분류하여 수행된다.

실험 결과

연구 질문

• RQ1 CNN과 GRU 기반의 딥러닝 모델이 언어별 특징 공학 없이 다국어 고객 피드백을 효과적으로 분류할 수 있는가?
• RQ2 스페인어나 일본어처럼 자원이 적은 언어의 경우, 원본 언어 테스트 세트와 영어로 번역된 테스트 세트를 사용했을 때 성능에 어떤 차이가 나는가?
• RQ3 짧고 모호하거나 불완전한 피드백 문장을 분류할 때 모델의 주요 실패 유형은 무엇인가?
• RQ4 훈련 데이터의 클래스 불균형이 '버그'와 같은 소수 클래스를 탐지하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ5 언어별 사전 학습된 단어 임베딩을 사용하면 성능을 추가로 향상시킬 수 있는가?

주요 결과

• CNN+GRU 모델은 IJCNLP 공동 과제에서 프랑스어 분류에서 두 번째로 높은 정확도(71.75%)를 기록했고, 영어, 스페인어, 일본어에서도 각각 3위 이내로 높은 성능을 보였다.
• CNN 모델은 영어로 번역된 테스트 세트를 사용했을 때 스페인어에서 85.62%의 정확도, 일본어에서 63.00%의 정확도를 기록했으며, 이는 중간 정도의 다국어 전이 능력을 보여주었다.
• 훈련 데이터에서 불만이 버그보다 훨씬 더 자주 발생함에 따라 클래스 불균형으로 인해 '버그' 클래스 분류에 가장 어려움을 겪었다.
• 오류 분석 결과, 주로 모호한 피드백, 대상 엔터티 누락, 매우 짧은 문장이 잘못 분류의 주요 원인이었다.
• 비-영어 언어에 대한 사전 학습된 단어 임베딩의 부재로 인해 성능이 제한되었으며, 언어별 임베딩을 사용할 경우 향후 성능 향상이 가능할 것으로 보인다.
• 3-그램 특징과 SVM을 사용한 베이스라인 시스템은 상당히 낮은 정확도(예: 영어에서 48.8%)를 기록했으며, 이는 딥러닝 접근법의 우수성을 확인한다.