[논문 리뷰] Token Sequence Labeling vs. Clause Classification for English Emotion Stimulus Detection

Laura Oberländer, Roman Klinger|arXiv (Cornell University)|2020. 10. 15.

Sentiment Analysis and Opinion Mining참고 문헌 44인용 수 16

한 줄 요약

이 논문은 영어 감정 자극 탐지에서 토큰 시퀀스 레이블링과 절 분류를 비교하며, 네 개의 영어 데이터셋에서 두 접근 방식을 평가할 수 있는 통합 프레임워크를 제안한다. 결과적으로 토큰 시퀀스 레이블링이 네 개 데이터셋 중 세 개에서 절 분류를 능가하며, 오류 분석을 통해 절은 영어에서 감정 자극 단위로 최적화되어 있지 않다는 것이 확인된다. 이는 절의 해상도가 낮고 자연스러운 자극 경계와 일치하지 않기 때문이다.

ABSTRACT

Emotion stimulus detection is the task of finding the cause of an emotion in a textual description, similar to target or aspect detection for sentiment analysis. Previous work approached this in three ways, namely (1) as text classification into an inventory of predefined possible stimuli ("Is the stimulus category A or B?"), (2) as sequence labeling of tokens ("Which tokens describe the stimulus?"), and (3) as clause classification ("Does this clause contain the emotion stimulus?"). So far, setting (3) has been evaluated broadly on Mandarin and (2) on English, but no comparison has been performed. Therefore, we aim to answer whether clause classification or sequence labeling is better suited for emotion stimulus detection in English. To accomplish that, we propose an integrated framework which enables us to evaluate the two different approaches comparably, implement models inspired by state-of-the-art approaches in Mandarin, and test them on four English data sets from different domains. Our results show that sequence labeling is superior on three out of four datasets, in both clause-based and sequence-based evaluation. The only case in which clause classification performs better is one data set with a high density of clause annotations. Our error analysis further confirms quantitatively and qualitatively that clauses are not the appropriate stimulus unit in English.

연구 동기 및 목표

• 영어에서 감정 자극 탐지에 있어 절 분류와 토큰 시퀀스 레이블링 중 어느 것이 더 효과적인지 평가하는 것.
• 절 기반 및 토큰 기반 접근 방식 간 직접 비교를 가능하게 하는 통합 프레임워크를 개발하는 것.
• 중국어에서 표준으로 사용되는 절 기반 표현 방식이 영어로 일반화되는지 조사하는 것.
• 오류 패턴을 분석하고 절이 영어에서 감정 자극의 언어학적 적절한 단위인지 확인하는 것.
• 재현 가능성과 향후 연구를 위해 애너테이션된 데이터와 코드를 공개하는 것.

제안 방법

• 입력 텍스트를 절 수준 및 토큰 수준 표현으로 매핑할 수 있도록 통합 프레임워크를 설계하여 공동 평가를 가능하게 한다.
• 영어 텍스트의 절 경계를 식별할 수 있도록 신경망 기반 절 탐지기 모델을 훈련시어 절 분류를 후행 작업으로 활용한다.
• IOB 태깅을 사용하여 감정 자극을 구성하는 토큰을 식별하기 위해 시퀀스 레이블링 모델을 훈련시킨다.
• 최신 기술의 중국어 접근 방식(예: LSTM 기반 계층적 인코더)을 변형하여 영어 데이터셋에 적용하고 평가한다.
• 두 접근 방식이 동일한 데이터 분할 및 평가 지표를 사용하여 평가되도록 프레임워크를 설계하여 공정한 비교를 보장한다.
• 네 가지 다양한 영어 데이터셋(EmotionStimulus, ElectoralTweets, 및 다른 두 개의 서로 다른 도메인에서 온 데이터셋)을 사용하여 공동 평가 프로토콜을 적용한다.

실험 결과

연구 질문

• RQ1 영어에서 감정 자극 탐지에 있어 토큰 시퀀스 레이블링이 절 분류보다 효과적인가?
• RQ2 중국어에 대해 개발된 최신 기술 기반 절 분류 모델이 영어 데이터셋으로 일반화되는가?
• RQ3 절은 영어에서 감정 자극을 표현하는 데 언어학적으로 적절한 단위인가?
• RQ4 도메인과 텍스트 유형(예: 공식적 대비 소셜 미디어)이 각 접근 방식의 성능에 어떤 영향을 미치는가?
• RQ5 두 표현 방식 간 성능 차이를 설명하는 주요 오류 패턴은 무엇인가?

주요 결과

• 토큰 시퀀스 레이블링은 네 개의 영어 데이터셋 중 세 개에서 절 분류를 능가하며, F1 스코어에서 통계적으로 유의미한 향상이 관찰된다.
• 절 분류가 더 잘 성능을 내는 유일한 데이터셋은 ElectoralTweets이며, 이는 절 애너테이션의 밀도가 높기 때문으로 보이며, 이는 애너테이션 밀도가 성능에 영향을 미칠 수 있음을 시사한다.
• 오류 분석을 통해 절은 영어에서 감정 자극의 진정한 경계를 포착하기에 너무 해상도가 낮고, 관련 없거나 불완전한 내용을 포함하는 경향이 있음이 확인된다.
• 연구 결과에 따르면 영어에서 자극은 자주 절 외부에 존재하며 절 경계를 넘나들며, 이는 절이 자연스러운 자극 단위라고 가정하는 것과 모순된다.
• 결과적으로 영어에서 감정 자극 탐지에 있어 토큰 수준의 시퀀스 레이블링이 선호되는 표현 방식임을 지지하며, 특히 비공식적이고 복잡한 문법적 맥락에서 더욱 그렇다.
• 저자들은 절 수준 및 토큰 수준 레이블링을 위한 애너테이션된 데이터와 코드를 공개하여 향후 연구와 재현 가능성을 지원한다.