[논문 리뷰] Emotion Ratings: How Intensity, Annotation Confidence and Agreements are Entangled

Enrica Troiano, Sebastian Padó외 1명|arXiv (Cornell University)|2021. 03. 02.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

이 연구는 텍스트 정서 분류에서 정서 강도, 주관적 평가 신뢰도, 평가자 간 일치도 간의 상호작용을 조사한다. COCA의 일부를 사용하여 평가자들이 문장의 정서 유무, 강도(1–3), 그리고 자가 평가 신뢰도(1–3)를 기재하였으며, 이는 신뢰도가 강도와 이질성 간의 강한 상관관계를 보이며 체계적인 평가 일관성 문제를 진단하는 지표로 기능할 수 있음을 시사한다. 또한 실제 강도보다는 정서의 부각 정도를 반영할 수 있다.

ABSTRACT

When humans judge the affective content of texts, they also implicitly assess the correctness of such judgment, that is, their confidence. We hypothesize that people's (in)confidence that they performed well in an annotation task leads to (dis)agreements among each other. If this is true, confidence may serve as a diagnostic tool for systematic differences in annotations. To probe our assumption, we conduct a study on a subset of the Corpus of Contemporary American English, in which we ask raters to distinguish neutral sentences from emotion-bearing ones, while scoring the confidence of their answers. Confidence turns out to approximate inter-annotator disagreements. Further, we find that confidence is correlated to emotion intensity: perceiving stronger affect in text prompts annotators to more certain classification performances. This insight is relevant for modelling studies of intensity, as it opens the question wether automatic regressors or classifiers actually predict intensity, or rather human's self-perceived confidence.

연구 동기 및 목표

• 자기 평가 신뢰도가 정서 분류에서 평가자 간 불일치도와 관련이 있는지 조사하기.
• 정서 강도의 인식이 평가자들의 판단에 대한 자신감에 영향을 미치는지 조사하기.
• 신뢰도와 강도가 함께 체계적인 평가 불일치를 설명할 수 있는지 평가하기.
• 신뢰도가 신뢰할 수 없거나 일관성 없는 평가를 식별하는 진단 도구로 기능할 수 있는지 평가하기.
• 이러한 관계가 NLP에서 정서 강도 모델링에 미치는 영향을 탐색하기.

제안 방법

• 평가자들은 현대 미국 영어 어휘집(Corpus of Contemporary American English, COCA)의 문장을 정서 유무(정서적 vs. 중립), 강도(1–3 리커트 척도), 자가 평가 신뢰도(1–3 리커트 척도)의 세 가지 차원에서 평가하였다.
• 평가자들은 의도된 정서나 인지적 해석이 아닌 개인의 인식 기반으로 정서를 판단하도록 지시받았다.
• 데이터 수집은 세 명의 숙련된 여성 평가자(컴퓨터 기반 정서 분석 경험 보유)가 참여한 제어된 실내 환경에서 수행되었다.
• 강도와 신뢰도에 대해 리커트 척도를 사용하여 상관관계 및 일치 패턴의 정량적 분석이 가능하도록 하였다.
• 완전 일치 사례(정서, 신뢰도, 강도)는 언어적 및 장르 기반 패턴을 식별하기 위해 수작업 분석되었다.
• 통계 분석은 신뢰도, 강도, 평가자 간 불일치 간의 관계를 분석하였으며, 이중 평가 일관성도 포함되었다.

실험 결과

연구 질문

• RQ1 RQ1: 정서 존재에 대한 평가자 간 불일치는 평가자들의 자가 평가 신뢰도와 관련이 있는가?
• RQ2 RQ2: 정서 강도 평가와 자가 평가 신뢰도가 서로 얽혀 있는가?
• RQ3 RQ3: 신뢰도와 강도가 함께 체계적인 평가 불일치를 설명할 수 있는가?
• RQ4 RQ4: 높은 신뢰도가 높은 강도와 함께 나타나는가, 아니면 반례가 존재하는가?

주요 결과

• 신뢰도는 평가자 간 불일치도와 강하게 상관관계가 있다: 낮은 신뢰도는 높은 불일치율과 관련이 있다.
• 정서 강도와 자가 평가 신뢰도는 유의미하게 상관관계가 있다—더 강하게 인식된 정서는 더 높은 평가 신뢰도를 유도한다.
• 높은 강도(3)와 낮은 신뢰도(1 또는 2)가 함께 나타나는 사례는 발견되지 않았으며, 이는 높은 강도가 신뢰도를 높이는 데 신뢰할 수 있는 영향을 미친다는 것을 시사한다.
• 정서, 신뢰도, 강도의 세 차원에서 완전한 일치가 가장 자주 발생한 문장은 개인 경험 또는 직접적인 정서 상태를 표현하는 문장이었다.
• 중립 레이블은 뉴스 및 사실 중심 장르에서 더 자주 발견되었고, 정서적 레이블은 소설, 블로그, 구어체 문장에서 더 흔했다.
• 연구 결과, 일부 높은 강도 사례는 낮은 신뢰도로 평가되었고, 반대로 일부 낮은 강도 사례는 높은 신뢰도로 평가된 바 있어, 실제 강도와는 별개로 복잡한 관계가 있음을 확인하였다.