[논문 리뷰] Explicit Interaction Network for Aspect Sentiment Triplet Extraction

Peiyi Wang, Tianyu Liu외 4명|arXiv (Cornell University)|2021. 06. 21.

Sentiment Analysis and Opinion Mining참고 문헌 43인용 수 4

한 줄 요약

이 논문은 목표-의견 동시 탐지와 감성 분류를 위해 시퀀스 인코더와 테이블 인코더를 사용하여 토큰 쌍 수준에서 조합적 특징을 캡처하는 명시적 상호작용 네트워크를 제안한다. 모듈 간 이중 방향 명시적 상호작용이 성능을 향상시켜 여섯 개의 ASTE 데이터셋에서 최고 성능을 기록하며, 특히 다수의 트리플릿을 포함하는 '다대일' 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

Aspect Sentiment Triplet Extraction (ASTE) aims to recognize targets, their sentiment polarities and opinions explaining the sentiment from a sentence. ASTE could be naturally divided into 3 atom subtasks, namely target detection, opinion detection and sentiment classification. We argue that the proper subtask combination, compositional feature extraction for target-opinion pairs, and interaction between subtasks would be the key to success. Prior work, however, may fail on `one-to-many' or `many-to-one' situations or derive non-existent sentiment triplets due to defective subtask formulation, sub-optimal feature representation or the lack of subtask interaction. In this paper, we divide ASTE into target-opinion joint detection and sentiment classification subtasks, which is in line with human cognition, and correspondingly utilize sequence encoder and table encoder to handle them. Table encoder extracts sentiment at token-pair level, so that the compositional feature between targets and opinions can be easily captured. To establish explicit interaction between subtasks, we utilize the table representation to guide the sequence encoding, and inject the sequence features back into the table encoder. Experiments show that our model outperforms state-of-the-art methods on six popular ASTE datasets.

연구 동기 및 목표

• 기존 ASTE 방법이 '다대일' 및 '일대다' 감성 트리플릿 시나리오를 다루는 데에 한계를 가진다는 문제를 해결하기 위해.
• 암묵적이고 공유되는 인코더 기반의 통신 방식을 대체하여 목표-의견 탐지와 감성 분류 간에 명시적이고 이중 방향의 상호작용을 통해 하위작업 간 상호작용을 향상시키기 위해.
• 토큰 수준의 특징에 의존하는 대신 토큰 쌍 수준에서 조합적 특징을 모델링하여 존재하지 않는 트리플릿에 대한 잘못된 예측을 줄이기 위해.
• 모델의 하위작업 정의를 인간의 인지 과정과 일치시키기 위해 — 감성 평가를 목표와 의견을 함께 고려하여 수행하기 위해.
• 특히 고난이도의 다중 트리플릿 문장에서 여섯 개의 기준 ASTE 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 모델은 ASTE를 두 가지 구성요소로 나눈다: 시퀀스 인코더를 사용한 목표-의견 동시 탐지, 테이블 인코더를 사용한 감성 분류.
• 테이블 인코더는 토큰 쌍 수준에서 직접 감성 특징을 생성하여 목표와 의견 간의 조합적 특징을 캡처한다.
• 테이블 가이드드 어텐션을 통해 명시적 이중 방향 상호작용을 구현한다. 여기서 테이블 표현이 시퀀스 인코딩을 가이드하고, 시퀀스 특징이 다시 테이블 인코더에 통합된다.
• 모델은 BERT와 같은 시퀀스 인코더를 사용하여 문맥적 인코딩을 수행하고, 테이블 인코더는 모든 목표-의견 쌍을 동시에 처리하여 감성 극성 예측을 수행한다.
• 상호작용 메커니즘은 각 모듈이 상대방으로부터 유용한 정보를 선택적으로 활용할 수 있도록 하여 간섭을 줄이고 강건성을 향상시킨다.
• 모델은 트리플릿 예측에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 탐지와 감성 분류의 공동 최적화가 이루어진다.

실험 결과

연구 질문

• RQ1 하위작업 간 명시적이고 이중 방향의 상호작용이 암묵적이거나 단방향 상호작용보다 ASTE 성능을 어떻게 향상시키는가?
• RQ2 감성을 토큰 쌍 수준에서 모델링하면 존재하지 않는 트리플릿에 대한 잘못된 예측을 줄일 수 있는가?
• RQ3 인간의 인지 과정과 일치하는 하위작업 조합 — 즉, 목표-의견 쌍을 기반으로 감성 평가를 수행하는 방식 — 이 다중 트리플릿을 포함한 복잡한 문장에서 더 나은 성능을 내는가?
• RQ4 '다대일' 시나리오에서 한 목표에 대해 여러 감성 극성이 존재할 경우 모델의 성능은 어떻게 되는가?
• RQ5 테이블 인코더의 조합적 특징 추출 방식이 애매하거나 겹치는 감성 표현을 다룰 때 토큰 수준의 특징 모델링보다 얼마나 뛰어나게 작용하는가?

주요 결과

• 제안된 모델은 여섯 개의 인기 있는 ASTE 데이터셋에서 최고 성능을 기록하였으며, 각각 15Lap, 14Rest, 15Rest, 16Rest에서 베이스라인 대비 절대 F1 점수 향상 폭이 +3.72, +4.90, +7.93, +8.73이다.
• 14Lap 데이터셋에서 모델은 F1 점수 71.13을 기록하여 다음으로 좋은 성능을 낸 JET_o(68.73)와 GTS(63.83)를 크게 앞서며 유의미하게 뛰어난 성능을 보였다.
• 다중 트리플릿을 포함한 문장에서 뚜렷한 우월성을 보였으며, 14Rest에서 58.21%의 문장이 다중 트리플릿을 포함하여 성능 향상이 가장 두드러졌다.
• 다섯 개인 트리플릿을 포함한 사례 연구에서 모델은 모두 정확히 추출하였고, JET_o는 두 개를 놓쳤으며, JET_o와 GTS 모두 강력한 감성 어휘로 인해 두 개의 가짜 양성 예측을 생성하였다.
• 그림 8에서 보듯이 문장당 트리플릿 수가 많을수록 모델의 성능 향상이 커지며, 이는 복잡하고 높은 난이도의 경우에서 뛰어난 강건성을 보임을 시사한다.
• 다중 트리플릿을 포함한 문장 비율(R_t>1)은 성능 향상과 강하게 상관관계가 있으며, 14Rest에서 가장 큰 향상이 관찰되었는데, 이는 58.21%의 문장이 다중 트리플릿을 포함하고 있었고, F1 점수에서 +8.73의 향상이 이루어졌다.