[논문 리뷰] EliXa: A Modular and Flexible ABSA Platform

Iñaki San Vicente, Xabier Saralegi외 1명|arXiv (Cornell University)|2017. 02. 07.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

EliXa는 교환 가능한 구성 요소를 통해 실험을 용이하게 하는 모듈식이고 유연하며 확장 가능한 감성 기반 분석(ABSA) 플랫폼이다. 표준 시퀀스 레이블러를 사용하여 의견 대상 추출(OTE)에서 최고 성능을 기록했으며, 제약 조건이 없는 트랙에서 79.65%의 정확도로 외부 도메인 호텔 감성 극성 분류 과제에서 3위를 기록했다.

ABSTRACT

This paper presents a supervised Aspect Based Sentiment Analysis (ABSA) system. Our aim is to develop a modular platform which allows to easily conduct experiments by replacing the modules or adding new features. We obtain the best result in the Opinion Target Extraction (OTE) task (slot 2) using an off-the-shelf sequence labeler. The target polarity classification (slot 3) is addressed by means of a multiclass SVM algorithm which includes lexical based features such as the polarity values obtained from domain and open polarity lexicons. The system obtains accuracies of 0.70 and 0.73 for the restaurant and laptop domain respectively, and performs second best in the out-of-domain hotel, achieving an accuracy of 0.80.

연구 동기 및 목표

• 감성 기반 분석 분야의 향후 실험을 용이하게 하기 위해 모듈식이고 확장 가능한 ABSA 플랫폼을 개발하는 것.
• 플러그 앤 플레이 아키텍처를 통해 시스템 구성 요소의 간편한 교체 또는 확장 기능을 제공하는 것.
• 특히 의견 대상 추출(OTE) 및 대상 극성 분류에서 경쟁적인 성능을 달성하기 위해 Semeval 2015 ABSA 공동 과제에서 뛰어난 성능을 내는 것.
• 내부 도메인 및 외부 도메인 설정 간의 특징 조합의 견고성 평가.
• 감성 어휘 사전 및 워드 임베딩과 같은 외부 자원을 활용하여 제약 조건이 있는 및 없는 실행 모두를 지원하는 것.

제안 방법

• NLP 파이프라인 구성 요소로 IXA Pipes 도구를 사용하며, 토큰화, 품사 태깅, 어형화를 포함한다.
• 의견 대상 추출(OTE)은 언어적 특징과 단어 표현 특징을 갖춘 지도 학습 기반 퍼셉트론 시퀀스 태거인 ixa-pipe-nerc를 사용하여 시퀀스 레이블링 문제로 모델링한다.
• 대상 극성 분류에는 일반 목적 및 도메인 전용 감성 어휘 사전에서 유래한 어휘적 특징을 강화한 다중 클래스 SVM 분류기를 사용한다.
• 특징으로는 n-그램, 품사 태그, 윈도우 적용 문장 스냅샷, 워드 임베딩(워드2vec 클러스터), 여러 어휘 사전에서 유래한 감성 점수를 포함한다.
• 특징은 가중 평균을 통해 통합되며, 성능 최적화를 위해 계층적 특징 선택 전략을 사용한다.
• 외부 자원으로는 영업용 음식 코퍼스, 아마존 전자기기 코퍼스, 워드 클러스터링을 위한 영어 위키백과, 우선순위 기반 충돌 해결 방식으로 통합된 네 가지 감성 어휘 사전(SentiWordNet, General Inquirer, OpinionFinder, Liu의 어휘 사전)이 포함된다.

실험 결과

연구 질문

• RQ1 교체 또는 확장이 용이한 모듈식이고 민감한 ABSA 플랫폼을 설계할 수 있는가?
• RQ2 특수 작업에 맞춘 모델 튜닝 없이도 표준 시퀀스 태거가 의견 대상 추출(OTE)에 얼마나 효과적인가?
• RQ3 일반 및 도메인 전용 어휘 사전에서 유래한 어휘 감성 특징이 대상 극성 분류 정확도에 얼마나 기여하는가?
• RQ4 ABSA 과제에서 내부 도메인 및 외부 도메인 설정 간의 특징 조합은 얼마나 견고한가?
• RQ5 워드 임베딩(워드2vec 클러스터)는 호텔 리뷰와 같은 자원이 적은 도메인에서 성능에 어떤 영향을 미치는가?

주요 결과

• EliXa는 의견 대상 추출(OTE) 과제에서 최고 성능을 기록했으며(슬롯 2), 제약 조건이 있는 트랙과 없는 트랙 모두에서 다른 시스템을 앞섰다.
• 레스토랑 도메인에서, 1-그램 특징, 워드2vec 클러스터, 여러 어휘 사전을 조합하여 제약 조건이 없는 트랙에서 82.34%의 정확도를 달성했다.
• 노트북 도메인에서는 1-그램, 품사 태그, E&A 특징 및 도메인 전용 어휘 사전을 조합하여 제약 조건이 없는 트랙에서 최고 80.85%의 정확도를 기록했다.
• 외부 도메인 호텔 과제에서 EliXa는 제약 조건이 없는 트랙에서 79.65%의 정확도를 기록하여 전체 3위를 차지했으며, 이는 강력한 도메인 간 일반화 능력을 시사한다.
• 레스토랑 도메인에서 $L_{Yelp}$ 및 $L_{Amazon}$ 도메인 전용 어휘 사전과 제한된 $L_{genres}$ 어휘 사전의 사용이 성능 향상에 크게 기여했다.
• 특징 조합은 개별 특징보다 항상 뛰어난 성능을 보였으며, 다양한 도메인에서 베이스라인 대비 1.9%에서 2.8%까지 향상된 성능을 기록했다.