[논문 리뷰] Lifelong Learning for Sentiment Classification

Zhiyuan Chen, Nianzu Ma외 1명|arXiv (Cornell University)|2018. 01. 09.

Sentiment Analysis and Opinion Mining참고 문헌 22인용 수 27

한 줄 요약

이 논문은 베이지안 최적화와 확률적 경사 하강법을 사용하여 이전에 학습된 감성 분류 작업으로부터 지식을 활용하는 생애주기 감성 분류(LSC) 프레임워크를 제안한다. 과거 도메인의 감성 단어 극성 기반 페널티 항목을 통합함으로써, 20개의 제품 도메인에서 자연적 및 균형 잡힌 클래스 분포 모두에서 기준 모델들을 크게 능가하는 성능을 달성한다.

ABSTRACT

This paper proposes a novel lifelong learning (LL) approach to sentiment classification. LL mimics the human continuous learning process, i.e., retaining the knowledge learned from past tasks and use it to help future learning. In this paper, we first discuss LL in general and then LL for sentiment classification in particular. The proposed LL approach adopts a Bayesian optimization framework based on stochastic gradient descent. Our experimental results show that the proposed method outperforms baseline methods significantly, which demonstrates that lifelong learning is a promising research direction.

연구 동기 및 목표

• 샘플 선택 편향으로 인해 훈련 데이터가 비대표적이 될 수 있는 실제 시나리오에서 감성 분류 성능을 향상시키는 데 도전한다.
• 과거 감성 분류 작업에서 습득한 지식을 유지하고 재사용하여 새로운 도메인에서의 성능을 향상시키는 생애주기 학습 시스템을 개발한다.
• 기존 전이 학습의 한계를 극복하기 위해 라벨이 부여된 소스 도메인 데이터에만 의존하는 것이 아니라 과거 학습 결과를 통합한다.
• 도메인 간 불변 감성 지식을 동적으로 학습 과정에 통합할 수 있는 확장 가능하고 효과적인 최적화 프레임워크를 설계한다.
• 20개의 제품 리뷰 도메인으로 구성된 대규모이고 다양한 코퍼스를 활용하여 생애주기 학습이 감성 분류에서 얼마나 효과적인지 입증한다.

제안 방법

• 과거 N−1개의 작업에서 습득한 지식이 N번째 작업의 학습을 향상시키는 순차적 학습 문제로 생애주기 감성 분류를 공식화한다.
• 지식 통합을 위한 확률적 경사 하강법(bayesian optimization framework based on stochastic gradient descent, SGD) 기반 프레임워크를 사용하여 감성 분류기를 훈련한다.
• 최적화 목표 함수에 두 가지 페널티 항목을 도입한다: 하나는 과거 도메인의 감성 단어 극성을 유지하기 위한 것이고, 다른 하나는 예측된 감성 분포를 알려진 패턴과 일치시키기 위한 것이다.
• 지식 기반(KB)을 과거 작업에서의 양성 및 음성 감성 단어 빈도의 비율로 표현하며, $ R_w = M_{+,w}^{KB}/(M_{+,w}^{KB} + M_{-,w}^{KB}) $ 를 사용한다.
• 정규화를 통해 과거 지식을 통합한다: $ \frac{1}{2}\alpha \sum_{w \in V_S} \left( X_{+,w} - R_w \cdot X_{+,w}^0 \right)^2 $ 와 음성 감성에 대한 유사한 식.
• 페널티 항목의 편미분을 포함하여 SGD의 기울기 계산을 업데이트함으로써 지식 전이를 통한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 목표 도메인이 충분한 라벨 데이터를 보유하고 있을지라도, 이전에 학습된 감성 분류 작업에서의 지식이 새로운 도메인에서 성능 향상에 기여할 수 있는가?
• RQ2 과거 학습 결과를 어떻게 효과적으로 표현하고 재사용할 수 있으며, 이는 다양한 도메인으로 일반화될 수 있는가?
• RQ3 과거 작업에서 도메인 간 불변 감성 단어 극성을 통합할 경우, 표준 전이 학습이나 단일 도메인 학습보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 과거 도메인의 수가 생애주기 학습 시스템의 성능에 어떤 영향을 미치는가?
• RQ5 페널티 기반 지식 주입을 통한 베이지안 최적화 프레임워크가 나이브 베이즈, 서포트 벡터 머신, CLF와 같은 표준 기준 모델을 능가할 수 있는가?

주요 결과

• 제안된 LSC 모델은 모든 20개 도메인에서 자연적 클래스 분포에서 음성 클래스의 F1 스코어가 가장 높으며, NB-T, SVM-T, NB-S, SVM-S, NB-ST, SVM-ST, CLF를 유의미하게 뛰어넘는다(p < 0.01).
• 균형 잡힌 클래스 분포에서는 LSC가 정확도에서도 가장 높은 성능을 기록했으며, 이전에 표준 기준 모델들을 능가했던 CLF를 초월했다.
• 과거 도메인의 수가 증가할수록 성능이 향상되어, 시스템이 시간이 지남에 따라 지식을 축적하고 효과적으로 활용할 수 있음을 보여준다.
• NB-ST 및 CLF에 비해 성능 향상은 통계적으로 유의미하다(p < 0.01), 그 외 기준 모델에 비해 성능 향상은 매우 유의미하다(p < 0.0001).
• 희귀하거나 목표 도메인에서 미리보기 어려운 감성 단어에 대해서도 과거 도메인의 감성 단어 극성 패턴을 활용함으로써 샘플 선택 편향을 효과적으로 완화한다.
• 지식 기반 통계(예: $ R_w $) 기반 페널티 항목의 사용은 모델이 새로운 데이터에 적응하면서도 이전 감성 지식을 유지할 수 있도록 하여 강력한 성능 향상을 이룬다.