[논문 리뷰] Multi-task Coupled Attentions for Category-specific Aspect and Opinion Terms Co-extraction.

Wenya Wang, Sinno Jialin Pan외 1명|arXiv (Cornell University)|2017. 02. 06.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 다중 작업 연관 주의 모델을 제안하여 카테고리별로 특성 및 의견 어휘를 동시에 추출하며, 여러 작업을 통해 특성 및 의견 어휘 식별과 카테고리 분류를 공동으로 학습한다. 공유 표현과 작업 간 관계를 활용하여, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 데이터 희소성 문제를 효과적으로 해결하고 더 세분화된 감성 분석을 가능하게 한다.

ABSTRACT

In aspect-based sentiment analysis, most existing methods either focus on aspect/opinion terms extraction or aspect terms categorization. However, each task by itself only provides partial information to end users. To generate more detailed and structured opinion analysis, we propose a finer-grained problem, which we call category-specific aspect and opinion terms extraction. This problem involves the identification of aspect and opinion terms within each sentence, as well as the categorization of the identified terms. To this end, we propose an end-to-end multi-task attention model, where each task corresponds to aspect/opinion terms extraction for a specific category. Our model benefits from exploring the commonalities and relationships among different tasks to address the data sparsity issue. We demonstrate its state-of-the-art performance on three benchmark datasets.

연구 동기 및 목표

• 기존의 특성 기반 감성 분석 방법이 특성 및 의견 어휘 추출 또는 분류를 별개의 작업으로 간주하는 한계를 해결하기 위해.
• 문장 내에서 특성 및 의견 어휘를 동시에 식별하고 사전에 정의된 카테고리로 분류하여 더 세분화된 의견 분석을 가능하게 하기 위해.
• 공유 표현과 관련된 작업 간 관계를 활용하여 자원이 적은 카테고리에서의 데이터 희소성 문제를 완화하기 위해.
• 다중 작업 간 종속성을 연관 주의 메커니즘을 통해 모델링하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 카테고리별 특성 및 의견 어휘 동시 추출을 위한 표준 벤치마크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델은 각 작업이 특정 감성 카테고리에 대한 특성 또는 의견 어휘 추출에 해당하는 다중 작업 학습 프레임워크를 사용한다.
• 입력 문장을 처리하고 각 토큰에 대한 문맥적 표현을 추출하기 위해 공유 인코더를 사용한다.
• 특성 및 의견 어휘 추출 작업 간의 종속성을 모델링하기 위해 연관 주의 메커니즘을 적용하여 작업 간 특징 학습을 향상시킨다.
• 작업별 분류기들을 적용하여 특성 및 의견 어휘와 그에 해당하는 감성 카테고리를 예측한다.
• 모든 작업의 손실을 조합한 공동 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시켜 지식 전이를 촉진한다.
• 공통적인 특성과 일반화를 향상시키기 위해 작업 간에 주의 메커니즘을 공유하며, 특히 자원이 적은 카테고리에서 유리하다.

실험 결과

연구 질문

• RQ1 특성 및 의견 어휘 추출을 카테고리 분류와 함께 공동 모델링할 경우, 별개의 작업 접근 방식에 비해 성능 향상이 이루어지는가?
• RQ2 제안된 다중 작업 연관 주의 메커니즘이 자원이 적은 감성 카테고리에서 데이터 희소성을 얼마나 효과적으로 완화하는가?
• RQ3 작업 간 공유 표현을 학습할 경우 특성 및 의견 어휘 동시 추출 정확도가 얼마나 향상되는가?
• RQ4 모델은 카테고리별 특성 및 의견 어휘 동시 추출을 위한 표준 벤치마크에서 최신 기술 수준 성능을 달성하는가?

주요 결과

• 제안된 모델은 카테고리별 특성 및 의견 어휘 동시 추출을 위한 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성한다.
• 다중 작업 연관 주의 메커니즘이 관련 작업 간 공유 표현을 활용하여 데이터 희소성을 효과적으로 감소시킨다.
• 특성 및 의견 어휘 추출을 카테고리 분류와 함께 공동 학습할 경우 단일 작업 기반 베이스라인에 비해 추출 정확도가 향상된다.
• 지식 전이가 작업 간에 이루어지므로, 특히 자원이 적은 감성 카테고리에서 뛰어난 일반화 성능을 보인다.