[논문 리뷰] Supervised Opinion Aspect Extraction by Exploiting Past Extraction Results

Lei Shu, Bing Liu외 2명|arXiv (Cornell University)|2016. 12. 23.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 6

한 줄 요약

이 논문은 과거 도메인에서 추출한 신뢰할 수 있는 요소들을 사전 지식으로 활용하여 조건부 랜덤 필드(CRF)를 사용해 감독형 의견 요소 추출을 향상시키는 새로운 방법인 Lifelong-CRF를 제안한다. 여러 도메인에서 자주 나타나는 요소를 추출하고 이를 의존 구조 기반 특징으로 인코딩함으로써 Lifelong-CRF는 도메인 간 설정에서 F1 점수를 6.2점 향상시켜 64.3에서 70.5로 개선하며, 기존 CRF 및 CRF+R보다 뛰어나다. 여기서 CRF+R은 과거 요소를 모델 통합 없이 사전으로만 간주한다.

ABSTRACT

One of the key tasks of sentiment analysis of product reviews is to extract product aspects or features that users have expressed opinions on. In this work, we focus on using supervised sequence labeling as the base approach to performing the task. Although several extraction methods using sequence labeling methods such as Conditional Random Fields (CRF) and Hidden Markov Models (HMM) have been proposed, we show that this supervised approach can be significantly improved by exploiting the idea of concept sharing across multiple domains. For example, "screen" is an aspect in iPhone, but not only iPhone has a screen, many electronic devices have screens too. When "screen" appears in a review of a new domain (or product), it is likely to be an aspect too. Knowing this information enables us to do much better extraction in the new domain. This paper proposes a novel extraction method exploiting this idea in the context of supervised sequence labeling. Experimental results show that it produces markedly better results than without using the past information.

연구 동기 및 목표

• 라벨이 부족한 저자원 또는 도메인 간 설정에서 감독형 의견 요소 추출을 향상시키기 위해.
• 기존 CRF 모델이 이전에 처리한 도메인의 지식을 활용하지 못하는 한계를 해결하기 위해.
• 과거 추출 결과가 향후 요소 추출 성능 향상에 체계적으로 재사용될 수 있는지 탐색하기 위해.
• 도메인 간 지식을 유지하고 적용할 수 있는 감성 분석을 위한 시퀀스 레이블링을 위한 생애주기 학습 프레임워크를 개발하기 위해.
• 특징 공학을 통한 과거 지식 통합이 단순한 사전 기반 통합보다 성능이 뛰어나지 않는지 평가하기 위해.

제안 방법

• 이 방법은 두 단계 과정을 사용한다: 라벨이 부여된 데이터에서 CRF를 이용한 모델 구축 후, 과거 추출 결과로부터 생애주기 지식을 축적하는 것.
• 적어도 λ=2개 이상의 과거 도메인에 등장하는 요소를 신뢰할 수 있는 요소로 간주하고, 향후 학습을 이끄는 지식 집합 K를 형성한다.
• 학습된 CRF 모델 M을 수정하지 않고, K에서 유도된 의존 패턴과 신규 텍스트의 문법적 관계를 기반으로 한 특징을 강화한다.
• 의존 패턴은 테스트 문장의 의존 구문 분석에서 유도되며, K와 결합되어 CRF 추론을 위한 정보성 특징 벡터를 생성한다.
• 새로운 도메인이 처리될수록 K가 동적으로 확장되어 도메인 간 지속적인 향상이 가능하다.
• 이 접근은 과거 작업의 사전 지식을 새로운 작업의 성능 향상에 활용하는 생애주기 기계 학습의 공식적 기반을 지닌다.

실험 결과

연구 질문

• RQ1 여러 도메인에서의 과거 추출 결과를 사용해 새로운, 알려지지 않은 도메인에서의 요소 추출을 향상시킬 수 있는가?
• RQ2 다양한 도메인에서 자주 나타나는 요소의 지식을 통합하면 기존 CRF보다 성능이 향상되는가?
• RQ3 과거 지식을 특징 공학을 통해 통합하는 것이 단순한 사전으로 간주하는 것보다 더 효과적인가?
• RQ4 제안된 방법의 성능은 도메인 내 설정과 도메인 간 설정에서 어떻게 다를까?
• RQ5 과거 지식에서 유도된 의존 기반 패턴이 CRF의 레이블링 정확도에 어떤 영향을 미치는가?

주요 결과

• 도메인 간 설정에서 Lifelong-CRF는 평균 F1 점수 70.5를 기록하여 기존 CRF의 64.3보다 유의미한 6.2점 향상되었다.
• 향상은 주로 재현율 향상 덕분이었으며, 이는 새로운 도메인에서 진짜 요소들을 더 잘 탐지했음을 시사한다.
• 신뢰할 수 있는 요소 집합 K를 사전으로 간주하는 CRF+R은 정밀도가 낮아 성능이 열악하여, 단순한 사전 통합 방식이 효과가 없음을 보여준다.
• 도메인 내 설정에서는 개선 폭이 더 작다(F1: 70.5 vs. 64.3), 이는 훈련 데이터에 많은 요소들이 이미 포함되어 있기 때문에 예상되는 바이다.
• 결과는 의존 패턴을 통한 특징 수준의 과거 지식 통합이 직접적인 사전 검색보다 더 효과적임을 확인한다.
• 이 방법은 감성 분석의 감독형 시퀀스 레이블링에 생애주기 학습을 성공적으로 구현하였으며, 이 분야에서 처음으로 such 접근을 제안한다.