[논문 리뷰] Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training

Giannis Karamanolakis, Daniel Hsu외 1명|arXiv (Cornell University)|2019. 09. 01.

Sentiment Analysis and Opinion Mining참고 문헌 47인용 수 4

한 줄 요약

이 논문은 한 측면당 몇 개의 시드 워드만을 사용하여 세분화된 측면 탐지용 강력한 신경망 모델을 훈련하기 위해 약한 지도 학습 기반의 학생-선생 공훈련 프레임워크를 제안한다. 백오프워즈 선생 모델을 사용해 신경망 학생 모델을 안내하고, 공훈련을 통해 반복적으로 시드 워드의 품질을 개선함으로써, 이 방법은 12개의 다양한 데이터셋에서 이전의 약한 지도 학습 방법 대비 절대 F1 점수 14.1점 향상 달성한다.

ABSTRACT

User-generated reviews can be decomposed into fine-grained segments (e.g., sentences, clauses), each evaluating a different aspect of the principal entity (e.g., price, quality, appearance). Automatically detecting these aspects can be useful for both users and downstream opinion mining applications. Current supervised approaches for learning aspect classifiers require many fine-grained aspect labels, which are labor-intensive to obtain. And, unfortunately, unsupervised topic models often fail to capture the aspects of interest. In this work, we consider weakly supervised approaches for training aspect classifiers that only require the user to provide a small set of seed words (i.e., weakly positive indicators) for the aspects of interest. First, we show that current weakly supervised approaches do not effectively leverage the predictive power of seed words for aspect detection. Next, we propose a student-teacher approach that effectively leverages seed words in a bag-of-words classifier (teacher); in turn, we use the teacher to train a second model (student) that is potentially more powerful (e.g., a neural network that uses pre-trained word embeddings). Finally, we show that iterative co-training can be used to cope with noisy seed words, leading to both improved teacher and student models. Our proposed approach consistently outperforms previous weakly supervised approaches (by 14.1 absolute F1 points on average) in six different domains of product reviews and six multilingual datasets of restaurant reviews.

연구 동기 및 목표

• 완전한 레이블링이 높은 레이블링 비용으로 인해 비현실적인 경우 리뷰에서 세분화된 측면 탐지의 과제를 해결하기 위해.
• 기존의 약한 지도 학습 방법이 시드 워드를 측면 탐지에 효과적으로 활용하지 못하는 문제를 개선하기 위해.
• 이전 방법들보다 더 효과적으로 시드 워드를 활용하는 학생-선생 공훈련 프레임워크를 개발하기 위해.
• 시드 워드가 노이즈가 있거나 정확도가 떨어지더라도, 소량의 시드 워드만으로도 견고한 측면 탐지가 가능하도록 하기 위해.
• 다양한 도메인과 다국어 환경에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 백오프워즈 분류기(선생)는 개별 시드 워드를 측면 예측에 대한 노이즈 있는 지표로 사용하며, 각 시드 워드를 약한 신호로 간주한다.
• 선생 모델은 레이블이 없는 리뷰 세그먼트에 대해 측면 확률을 생성하며, 이를 더 강력한 학생 모델(예: 사전 훈련된 임베딩을 가진 신경망)의 약한 지도 학습에 사용한다.
• 학생 모델은 입력 내 시드 워드뿐 아니라 비시드 워드까지 학습함으로써 선생 모델보다 더 잘 일반화된다.
• 반복적인 공훈련은 학생 예측을 사용해 선생의 시드 워드 품질 추정을 개선하고, 개선된 선생 출력을 기반으로 학생을 재학습하는 방식으로 번갈아가며 수행된다.
• 학생-선생 불일치를 분석함으로써 시드 워드 품질을 비지도 방식으로 모델링함으로써 수동적인 시드 워드 가중치 설정에 대한 의존도를 줄인다.
• 이 프레임워크는 다국어 및 교차 도메인 측면 탐지에 대응할 수 있으며, 시드 워드 기반 기술 설명이 가능한 모든 분류 과제에 적용 가능하다.

실험 결과

연구 질문

• RQ1 몇 개의 시드 워드만을 사용하는 약한 지도 학습 방법이 세분화된 측면 탐지에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 기존의 약한 지도 학습 방법이 시드 워드를 집합적 신호로만 취급하는 것보다, 어떻게 더 효과적으로 시드 워드를 활용할 수 있는가?
• RQ3 학생-선생 공훈련 프레임워크는 학생 모델이 선생의 제한된 신호를 초월해 일반화할 수 있도록 함으로써 성능 향상을 이끌 수 있는가?
• RQ4 반복적인 공훈련을 통해 노이즈가 있는 시드 워드의 품질을 비지도 방식으로 개선함으로써 선생 및 학생 모델의 성능을 향상시킬 수 있는가?
• RQ5 제안된 방법이 다양한 도메인과 다국어 환경에서 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 6개의 제품 리뷰 및 6개의 다국어 레스토랑 리뷰 데이터셋을 포함한 12개의 데이터셋에서 이전의 약한 지도 학습 방법 대비 평균 절대 F1 점수 14.1점 향상 달성.
• BERT 기반 학생 모델을 사용할 경우, 반복적인 공훈련으로 제품 리뷰에서 선생 모델의 성능이 최대 12.3% 향상되며, 이는 시드 워드 품질 추정의 개선 덕분이다.
• 학생 모델은 항상 선생 모델보다 뛰어난 성능를 보이며, 비시드 워드로부터의 일반화가 성능 향상에 크게 기여함을 입증한다.
• 학생의 입력에서 시드 워드를 제거한 경우(RSW 기준선)도 의미 있는 성능를 기록함으로써, 비시드 워드가 측면 탐지에 예측 능력을 지닌다는 것을 보여준다.
• 성능 향상이 첫 두 번의 공훈련 라운드에서 가장 두드러지게 나타나, 빠른 수렴과 시드 워드 품질의 효과적인 개선을 시사한다.
• 이 방법은 도메인과 언어에 관계없이 견고하며, 영어 및 비영어 환경(예: 프랑스어, 스페인어) 모두에서 일관된 향상이 관찰된다.