[논문 리뷰] Grid Tagging Scheme for Aspect-oriented Fine-grained Opinion Extraction

Zhen Wu, Chengcan Ying외 4명|arXiv (Cornell University)|2020. 10. 09.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 15

한 줄 요약

이 논문은 의견 쌍(aspect, opinion)과 의견 트리플릿(aspect, opinion, sentiment) 추출을 하나의 격자 태깅 작업으로 통합하는 새로운 엔드 투 엔드 프레임워크인 격자 태깅 기법(GTS)을 제안한다. 서로 다른 의견 요소들 간의 상호의존성을 고려한 설계된 추론 전략을 활용함으로써, CNN, BiLSTM, BERT 기반의 GTS 모델은 OPE 및 OTE 벤치마크에서 강력한 파이프라인 기반 기준 모델을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Aspect-oriented Fine-grained Opinion Extraction (AFOE) aims at extracting aspect terms and opinion terms from review in the form of opinion pairs or additionally extracting sentiment polarity of aspect term to form opinion triplet. Because of containing several opinion factors, the complete AFOE task is usually divided into multiple subtasks and achieved in the pipeline. However, pipeline approaches easily suffer from error propagation and inconvenience in real-world scenarios. To this end, we propose a novel tagging scheme, Grid Tagging Scheme (GTS), to address the AFOE task in an end-to-end fashion only with one unified grid tagging task. Additionally, we design an effective inference strategy on GTS to exploit mutual indication between different opinion factors for more accurate extractions. To validate the feasibility and compatibility of GTS, we implement three different GTS models respectively based on CNN, BiLSTM, and BERT, and conduct experiments on the aspect-oriented opinion pair extraction and opinion triplet extraction datasets. Extensive experimental results indicate that GTS models outperform strong baselines significantly and achieve state-of-the-art performance.

연구 동기 및 목표

• 목적 중심의 세분화된 의견 추출(AFOE)을 위한 파이프라인 접근 방식에서 발생하는 오류 전파 및 비효율 문제를 해결하기 위해.
• 의견 쌍(OPE)과 의견 트리플릿(OTE) 추출을 하나의 엔드 투 엔드 태깅 작업으로 통합하기 위해.
• 의견 요소들 간의 상호의존성을 활용하여 추론 정확도를 향상시키기 위해.
• 교차 요소 간의 신호를 활용하여 예측 성능을 향상시키는 호환성 있고 효과적인 추론 전략을 설계하기 위해.
• 다양한 신경망 아키텍처(CNN, BiLSTM, BERT)에서 GTS의 타당성과 우수성을 검증하기 위해.

제안 방법

• 문장 내 모든 단어 쌍에 대해 통합된 격자 태깅 작업으로 의문 쌍 및 트리플릿 추출을 변환하는 격자 태깅 기법(GTS)을 제안한다.
• 각 단어 쌍 간의 관계를 격자 내 레이블로 표현하여 잠재적인 목적어-의견 또는 목적어-의견-감성 관계를 인코딩한다.
• 격자 예측 결과로부터 동시에 유효한 모든 의문 쌍 또는 트리플릿을 추출하기 위한 복원 알고리즘을 설계한다.
• 목적어 어휘, 의견 어휘, 감성 극성 간의 상호 신호를 활용하여 반복적으로 예측을 정밀하게 조정하는 추론 전략을 도입한다.
• CNN, BiLSTM, BERT를 사용하여 세 가지 GTS 모델을 구현하여 다양한 아키텍처에서의 호환성과 효과성을 입증한다.
• 격자 태깅 프레임워크 내에서 쌍 관계 탐지 대신 감성 극성 분류를 수행함으로써 OTE로 GTS를 확장한다.

실험 결과

연구 질문

• RQ1 통합된 격자 태깅 기법이 목적 중심의 의견 추출을 위한 다단계 파이프라인 방법을 효과적으로 대체할 수 있는가?
• RQ2 제안된 추론 전략이 의견 요소 간의 상호의존성을 활용하여 추론 정확도를 어떻게 향상시키는가?
• RQ3 다양한 신경망 아키텍처(CNN, BiLSTM, BERT)가 OPE 및 OTE 작업에서 GTS 성능에 미치는 영향은 무엇인가?
• RQ4 다양한 추론 시간이 GTS 모델의 성능에 어떤 영향을 미치는가?
• RQ5 GTS가 의문 쌍 추출 및 의문 트리플릿 추출 벤치마크에서 모두 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• GTS 모델은 의문 쌍 추출(OPE) 및 의문 트리플릿 추출(OTE) 작업에서 강력한 파이프라인 기반 기준 모델을 크게 앞서는 성능을 기록한다.
• GTS-CNN 모델은 14LAP 데이터셋에서 69.39%의 F1 점수를 기록하여 최고의 기준 모델을 상당한 격차로 앞서며 성능을 뛰어넘었다.
• 추론 전략은 OPE에서 최대 2.33% F1 향상을 이끌어내어 교차 요소 간 의존성을 효과적으로 활용함을 입증한다.
• GTS-BERT는 단 한 번의 추론 반복만으로도 최고 성능에 도달하여, BERT의 풍부한 문맥적 표현이 다중 추론 단계가 필요로 하는 정도를 감소시킴을 시사한다.
• 제거 실험 결과, 추론 전략을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 전략이 정확도 향상에 핵심적인 역할을 함을 검증한다.
• 다양한 아키텍처와 호환됨을 입증하기 위해 CNN, BiLSTM, BERT 기반 GTS 모델 모두에서 일관된 최신 기술 수준의 결과를 기록함으로써 격자 태깅 프레임워크의 유연성과 타당성을 확인한다.