[논문 리뷰] Neural Aspect and Opinion Term Extraction with Mined Rules as Weak Supervision

Hongliang Dai, Yangqiu Song|arXiv (Cornell University)|2019. 07. 07.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 18

한 줄 요약

이 논문은 인간 레이블 데이터와 자동으로 추출한 의존성 기반 규칙에서 유도된 약한 지도 학습을 결합함으로써 성능을 향상시키는 RINANTE라는 신경망적 측면 및 의견 텀 추출 모델을 제안한다. 이 방법은 레이블이 붙은 데이터에서 규칙을 추출하여 대규모 보조 학습 데이터를 생성하며, 이로 인해 신경망 모델은 최소한의 인간 레이블 예시로도 최신 기술 수준 또는 그 이상의 성능을 달성할 수 있다.

ABSTRACT

Lack of labeled training data is a major bottleneck for neural network based aspect and opinion term extraction on product reviews. To alleviate this problem, we first propose an algorithm to automatically mine extraction rules from existing training examples based on dependency parsing results. The mined rules are then applied to label a large amount of auxiliary data. Finally, we study training procedures to train a neural model which can learn from both the data automatically labeled by the rules and a small amount of data accurately annotated by human. Experimental results show that although the mined rules themselves do not perform well due to their limited flexibility, the combination of human annotated data and rule labeled auxiliary data can improve the neural model and allow it to achieve performance better than or comparable with the current state-of-the-art.

연구 동기 및 목표

• 신경망 기반 측면 및 의견 텀 추출에서 레이블이 붙은 학습 데이터의 부족 문제를 해결하기 위해.
• 비용이 많이 드는 인간 레이블링에 의존도를 줄이기 위해 자동으로 추출한 규칙을 약한 지도 학습으로 활용하기 위해.
• 인간 레이블 데이터와 규칙 기반 보조 데이터를 함께 학습시켜 신경망 모델의 성능을 향상시키기 위해.
• 의존성 구문 분석과 품사 태깅 기반으로 측면 및 의견 텀 추출을 위한 자동화된 규칙 추출 알고리즘을 개발하기 위해.

제안 방법

• 기존의 레이블이 붙은 예시의 의존성 구문 분석 및 품사 태깅 결과에서 추출 규칙을 자동으로 추출하는 알고리즘이 사용된다.
• 추출된 규칙는 대규모의 레이블이 없는 제품 리뷰에 적용되어 보조 학습 데이터를 생성한다.
• BiLSTM-CRF 신경망 모델은 인간 레이블 데이터(강한 지도 학습)와 규칙 기반 레이블 데이터(약한 지도 학습)를 모두 사용하여 학습된다.
• 모델은 고정밀도의 인간 레이블 데이터와 고포괄성, 그러나 낮은 정밀도를 가진 규칙 기반 레이블 데이터의 조합에서 학습한다.
• 이 접근법은 표준 측면 및 의견 텀 추출 평가 지표를 사용하여 세 개의 SemEval 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 의존성 구문 분석에서 유도된 자동으로 추출한 규칙이 신경망 기반 측면 및 의견 텀 추출에 도움이 될 수 있는가?
• RQ2 제한된 인간 레이블 데이터와 규칙 기반 레이블 데이터를 함께 학습시키면 모델 성능에 어떤 영향을 미치는가?
• RQ3 추출한 규칙에서 유도된 약한 지도 학습을 통해 신경망 모델이 더 잘 일반화할 수 있는가?
• RQ4 인간 레이블 데이터만으로 학습하는 것과 비교해 볼 때, 추출한 규칙이 성능 향상에 얼마나 기여하는가?

주요 결과

• RINANTE 모델은 세 개의 SemEval 데이터셋에서 현재 최신 기술 수준과 비교하거나 그 이상의 성능을 달성한다.
• 인간 레이블 데이터와 규칙 기반 레이블 데이터를 함께 학습시키는 것은 인간 레이블 데이터만으로 학습시키는 것보다 모델 성능을 크게 향상시킨다.
• 개별적으로는 융통성이 부족한 추출된 규칙이지만, 효과적인 약한 지도 학습을 제공하여 일반화 능력을 향상시킨다.
• 규칙이 부분적으로만 추출하는 경우(예: 'microphones')에도 불구하고, 모델은 다중어절 측면 텀(예: 'external microphones')을 성공적으로 파악한다.
• 규칙 추출 과정은 효율적이며, 표준 하드웨어에서 각 데이터셋당 10초 미만으로 수행된다.