[논문 리뷰] Position-Aware Tagging for Aspect Sentiment Triplet Extraction

Lu Xu, Hao Li외 2명|arXiv (Cornell University)|2020. 10. 06.

Sentiment Analysis and Opinion Mining참고 문헌 46인용 수 13

한 줄 요약

이 논문은 타겟, 감성, 의견 구간을 동시에 추출할 수 있도록 위치 인식 태깅 체계를 사용하는 새로운 엔드 투 엔드 모델 JET을 제안한다. 위치 정보를 태그 의미에 통합함으로써 JET은 여러 데이터셋에서 파ipel라인 기반 기준 모델을 능가하며, 삼중항 간의 상호작용을 개선함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Aspect Sentiment Triplet Extraction (ASTE) is the task of extracting the triplets of target entities, their associated sentiment, and opinion spans explaining the reason for the sentiment. Existing research efforts mostly solve this problem using pipeline approaches, which break the triplet extraction process into several stages. Our observation is that the three elements within a triplet are highly related to each other, and this motivates us to build a joint model to extract such triplets using a sequence tagging approach. However, how to effectively design a tagging approach to extract the triplets that can capture the rich interactions among the elements is a challenging research question. In this work, we propose the first end-to-end model with a novel position-aware tagging scheme that is capable of jointly extracting the triplets. Our experimental results on several existing datasets show that jointly capturing elements in the triplet using our approach leads to improved performance over the existing approaches. We also conducted extensive experiments to investigate the model effectiveness and robustness.

연구 동기 및 목표

• 기존 파이프라인 접근 방식이 타겟, 감성, 의견 구간 간의 풍부한 상호작용을 모델링하지 못하는 한계를 해결하기 위해.
• 후처리 쌍화에 의존하지 않고 삼중항 구성 요소 간의 구조적 관계를 포괄적으로 포착할 수 있는 공동 시퀀스 태깅 프레임워크를 설계하기 위해.
• 표준 BIOES 태깅의 표현력 격차를 해소하기 위해 태그 의미에 위치 정보를 통합함으로써.
• 개선된 태그 표현을 통해 타겟, 감성, 의견 구간을 동시에 추출함으로써 정확도와 내구성을 향상시키는 모델을 개발하기 위해.

제안 방법

• 타겟과 의견 구간 간의 상대적 위치를 다차원 태그 태그로 인코딩함으로써 표준 BIOES를 확장한 새로운 위치 인식 태깅 체계를 제안한다.
• 모든 삼중항 구성 요소(타겟, 감성, 의견 구간)를 동시에 예측할 수 있도록 풍부한 태그 의미를 활용하는 공동 태깅 프레임워크인 JET을 설계한다.
• 타겟, 감성, 의견 구간 구성 요소 간의 상호작용을 효과적으로 모델링하기 위해 분해된 특징 표현을 활용한다.
• 각 토큰의 깊은 문맥적 특징을 캡처하기 위해 BERT 기반의 문맥 임베딩을 입력 표현으로 사용한다.
• 두 가지 변형인 JET o→t와 JET t→o를 결합하여 예측을 융합함으로써 재현율과 전체 F1을 향상시키는 앙상블 모델을 도입한다.
• 최종 태그 점수에 대해 CRF 디코딩을 적용하여 일관되고 유효한 시퀀스 태깅 출력을 보장한다.

실험 결과

연구 질문

• RQ1 강화된 태그 표현력을 갖춘 공동 시퀀스 태깅 접근 방식이 기존의 이중 단계 파이프라인 방법보다 ASTE에서 뛰어난 성능을 내는가?
• RQ2 위치 인식 태깅 체계는 타겟, 감성, 의견 구간 간의 구조적 관계를 얼마나 효과적으로 모델링하는가?
• RQ3 제안된 모델은 특히 누락된 삼중항을 포착하는 데 있어 기준 모델 대비 재현율과 F1에서 얼마나 향상되는가?
• RQ4 서로 보완적인 두 가지 JET 변형을 융합하는 앙상블 전략은 다양한 데이터셋에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• 제안된 JET 모델은 14S, 14L, 15S, 16S 등 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 강력한 파이프라인 기반 기준 모델을 능가한다.
• 14Rest, 14Lap, 15Rest 데이터셋에서 앙상블 모델 JET t→o는 JET t와 JET o 모두보다 높은 F1 점수를 기록하여 효과적인 상호보완성을 입증한다.
• 앙상블 모델은 재현율을 크게 향상시켜, 두 JET 변형이 서로 다른 유효한 삼중항을 포착하고 있음을 확인하며 예측 누락을 줄인다.
• 위치 인식 태깅 체계는 삼중항 구성 요소 간의 구조적 관계를 성공적으로 인코딩하여 후처리 쌍화 없이도 엔드 투 엔드 공동 추출이 가능하게 한다.
• 다양한 데이터셋에서 뛰어난 안정성과 일관성을 보이며, 특히 도전적인 테스트 세트에서 F1과 재현율 향상이 뚜렷하다.