[논문 리뷰] Open-Domain Targeted Sentiment Analysis via Span-Based Extraction and Classification

Minghao Hu, Yuxing Peng외 3명|arXiv (Cornell University)|2019. 06. 10.

Sentiment Analysis and Opinion Mining참고 문헌 41인용 수 23

한 줄 요약

이 논문은 개방 도메인 대상 감성 분석을 위한 스파ن 기반의 추출-분류 프레임워크를 제안하며, 기존의 순차 태깅 대신 직접 스파인을 추출하고 스파인 표현 기반의 극성 분류를 도입한다. 이 방법은 순차 태깅 기반 베이스라인에 비해 유의미하게 뛰어난 성능을 보이며, 검색 공간을 줄이고 다중어절 대상에 대한 감성 일관성을 향상시켜 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Open-domain targeted sentiment analysis aims to detect opinion targets along with their sentiment polarities from a sentence. Prior work typically formulates this task as a sequence tagging problem. However, such formulation suffers from problems such as huge search space and sentiment inconsistency. To address these problems, we propose a span-based extract-then-classify framework, where multiple opinion targets are directly extracted from the sentence under the supervision of target span boundaries, and corresponding polarities are then classified using their span representations. We further investigate three approaches under this framework, namely the pipeline, joint, and collapsed models. Experiments on three benchmark datasets show that our approach consistently outperforms the sequence tagging baseline. Moreover, we find that the pipeline model achieves the best performance compared with the other two models.

연구 동기 및 목표

• 개방 도메인 대상 감성 분석에서 순차 태깅의 한계, 즉 큰 검색 공간과 다중어절 대상에 대한 감성 일관성 문제를 해결하기 위해.
• 각 대상에 대해 시작/종료 위치와 감성 극성 정보를 직접 애너테이션하는 스파인 기반의 레이블링 체계를 설계하기 위해.
• 파ipeline, 공동, 축소 학습 체계를 적용한 BERT 기반 모델을 활용해 추출-분류 프레임워크의 효과성을 평가하기 위해.
• 전체 대상 표현을 사용한 스파인 수준의 극성 분류가 단어 수준 태깅에 비해 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 맥락적 표현을 위해 사전 학습된 BERT 인코더를 백본 네트워크로 사용한다.
• 문장에서 다중 후보 의견 대상을 추출하기 위해 히우리스틱 다중 스파인 디코딩 알고리즘을 적용한다.
• 전체 대상 스파인의 풀드 표현을 사용해 감성 극성을 예측하는 스파인 수준의 극성 분류기를 적용한다.
• 각 대상이 시작/종료 위치와 감성 극성 정보로 애너테이션되는 스파인 기반의 레이블링 체계를 도입한다.
• 세 가지 학습 체계를 비교한다: 파이프라인(추출 후 분류), 공동(공유 파rameter를 가진 엔드 투 엔드), 축소(한 번의 태그로 스파인과 극성 예측).
• 전체 대상을 하나의 단위로 모델링하여 다중어절 대상에 대한 감성 일관성을 확보하기 위해 스파인 표현을 활용한다.

실험 결과

연구 질문

• RQ1 스파인 기반의 레이블링 체계는 개방 도메인 대상 감성 분석에서 순차 태깅에 비해 검색 공간을 줄이고 성능을 향상시키는가?
• RQ2 스파인 기반 프레임워크 하에서 파이프라인, 공동, 축소 모델의 성능과 견고성 측면에서 비교하면 어떻게 되는가?
• RQ3 스파인 수준의 극성 분류는 단어 수준 태깅에 비해 다중어절 대상에서 감성 일관성을 개선할 수 있는가?
• RQ4 추출-분류 프레임워크는 표준 벤치마크 데이터셋에서 순차 태깅 기반 베이스라인에 비해 뛰어난 성능을 보이는가?
• RQ5 이 설정에서 파이프라인 모델이 공동 및 축소 모델보다 더 잘 성능을 내는 이유는 무엇인가?

주요 결과

• 스파인 기반 접근법은 LAPTOP, REST, TWITTER 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 극성 분류에서 태깅 기반 베이스라인 대비 각각 9.97%, 8.15%, 15.4%의 절대 성능 향상을 보였다.
• 파이프라인 모델은 공동 및 축소 모델을 일관되게 앞서며, 추출과 분류를 분리함으로써 전체 성능 향상이 가능하다는 것을 시사한다.
• 스파인 수준의 극성 분류기는 감성 일관성을 향상시켰으며, 이는 다양한 길이의 대상에 대해 안정적인 성능을 보였고, 태깅 기반 베이스라인은 긴 대상에서 정확도가 크게 떨어지는 것으로 확인되었다.
• LAPTOP 데이터셋에서 스파인 기반 방법은 극성 분류 정확도 81.39%를 기록하여 이전 최신 기술 수준 모델을 초월하였다.
• 다중 대상 추출기는 긴 문장에서 특히 효과적이었으며, 태깅 방법은 복잡성 증가와 레이블 구성성 문제로 인해 어려움을 겪는다.
• 사례 연구를 통해 태깅 기반 베이스라인이 다중어절 대상에서 감성 일관성을 유지하지 못하는 경향이 있는 반면, 스파인 기반 방법은 전체 대상을 하나의 단위로 모델링함으로써 이 문제를 피할 수 있음을 확인하였다.