[논문 리뷰] Data Selection Strategies for Multi-Domain Sentiment Analysis

Sebastian Ruder, Parsa Ghaffari외 1명|arXiv (Cornell University)|2017. 02. 08.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 9

한 줄 요약

이 논문은 자동에코더 표현과 서브셋 수준의 선택을 활용하여 랜덤 및 균형 잠재 기반 보다 우수한 성능을 보이는 다중 도메인 감성 분석을 위한 새로운 데이터 선택 전략을 제안한다. 프록시 $π$-거리 및 자동에코더 기반 유사도 메트릭이 특히 대규모 리뷰 데이터셋에서 성능 향상에 기여하며, 서브셋 수준 선택이 일괄 수준 방법보다 항상 뛰어나다는 것을 입증한다.

ABSTRACT

Domain adaptation is important in sentiment analysis as sentiment-indicating words vary between domains. Recently, multi-domain adaptation has become more pervasive, but existing approaches train on all available source domains including dissimilar ones. However, the selection of appropriate training data is as important as the choice of algorithm. We undertake -- to our knowledge for the first time -- an extensive study of domain similarity metrics in the context of sentiment analysis and propose novel representations, metrics, and a new scope for data selection. We evaluate the proposed methods on two large-scale multi-domain adaptation settings on tweets and reviews and demonstrate that they consistently outperform strong random and balanced baselines, while our proposed selection strategy outperforms instance-level selection and yields the best score on a large reviews corpus.

연구 동기 및 목표

• 감성 분석에서 도메인이 잘 정의되지 않거나 알려져 있지 않을 경우, 여러 도메인에 걸쳐 관련 훈련 데이터를 선택하는 데 도전하는 것.
• 다양한 표현 방식, 유사도 메트릭, 선택 수준이 다중 도메인 적응 성능에 미치는 영향을 조사하는 것.
• 일괄 수준 선택보다 뛰어나고, 모호한 도메인 경계를 가진 실제 환경에서도 강건한 데이터 선택 방법을 개발하는 것.
• NLP 전문가들이 감성 분석에서 효과적인 데이터 선택을 수행하는 데 도움이 되는 실용적 지침을 제공하는 것.

제안 방법

• 데이터 선택을 위한 세 가지 새로운 표현 방식을 제안: 용어 분포, 워드 임베딩, 자동에코더 표현으로, 자동에코더 표현이 대규모 데이터셋에서 뛰어난 성능을 보였다.
• 세 가지 도메인 유사도 메트릭을 도입: 제닝스-샤논 발산, 코사인 유사도, 프록시 $π$-거리로, 후자가 항상 기본 메트릭을 능가했다.
• 세 가지 데이터 선택 수준을 적용: 도메인 수준, 일괄 수준, 서브셋 수준로, 서브셋 수준 선택이 가장 큰 성과를 보였다.
• 두 개의 대규모 데이터셋인 트윗과 제품 리뷰를 대상으로 다중 도메인 적응 프레임워크를 사용하여, 다양한 타겟 도메인에서 성능을 평가했다.
• 원천 도메인의 지식을 활용하기 위해 디스틸레이션 기반 모델 훈련 전략을 적용하여 일반화 능력을 향상시켰다.
• 훈련 데이터 크기가 다양한 조건에서 성능을 평가하여 확장성과 강건성 여부를 점검했다.

실험 결과

연구 질문

• RQ1 용어 분포, 워드 임베딩, 자동에코더와 같은 다양한 표현 방식이 다중 도메인 감성 분석의 데이터 선택 성능에 어떤 영향을 미치는가?
• RQ2 제닝스-샤논 발산, 코사인 유사도, 프록시 $π$-거리 중 어느 도메인 유사도 메트릭이 가장 효과적인 데이터 선택을 이끌는가?
• RQ3 다중 도메인 감성 분석에서 서브셋 수준 데이터 선택이 일괄 수준 또는 도메인 수준 선택보다 뛰어나게 작용하는가?
• RQ4 훈련 데이터 크기와 도메인 유사도에 따라 데이터 선택 성능는 어떻게 변하는가?
• RQ5 실제로 모호한 도메인 경계를 가진 환경에서 자동 데이터 선택이 인간 레이블링 도메인 선택을 능가할 수 있는가?

주요 결과

• 자기에코더 표현 방식은 더 풍부한 의미 모델링 덕분에 대규모 리뷰 데이터셋에서 용어 분포 및 워드 임베딩보다 뚜렷하게 뛰어난 성능을 보였다.
• 서브셋 수준 선택은 일괄 수준 선택보다 항상 뛰어나며, 특히 훈련 데이터가 증가함에 따라 LiveJournal2014 도메인에서 가장 큰 성과를 보였다.
• 프록시 $π$-거리 메트릭은 기본 유사도 메트릭을 항상 능가했으며, 분류기의 신뢰도가 도메인 적응 가능성에 강력한 프록시임을 입증했다.
• 리뷰 코퍼스에서는 제안된 자동에코더 기반 서브셋 수준 선택 전략이 가장 높은 정확도를 기록했으며, 모든 기준선 및 이전 방법을 능가했다.
• 워드 임베딩은 노이즈가 많은 소셜 미디어 데이터(트윗)에서 성능이 열등하여, 저자원 또는 노이즈가 많은 도메인에서는 활용도가 제한됨을 시사한다.
• 도메인이 명확하게 분리되지 않는 경우에도 이 방법은 효과를 유지하여, 실제 모호한 환경에서의 유용성을 입증했다.