[논문 리뷰] Clear Messages, Ambiguous Audiences: Measuring Interpretability in Political Communication

Krishna Sharma, Khemraj Bhatt|arXiv (Cornell University)|2026. 01. 28.

Computational and Text Analysis Methods인용 수 0

한 줄 요약

본 논문은 미국 정치인들의 소셜 미디어 메시지 5,000건에 대한 신뢰도 가중 인간 주석을 활용하여 정치적 메시지의 해석 가능성을 조사하고, 전반적으로 높은 가독성과 관객 구성 구분 효과가 두드러짐을 발견합니다.

ABSTRACT

Text-based measurement in political research often treats classi6ication disagreement as random noise. We examine this assumption using con6idence-weighted human annotations of 5,000 social media messages by U.S. politicians. We 6ind that political communication is generally highly legible, with mean con6idence exceeding 0.99 across message type, partisan bias, and audience classi6ications. However, systematic variation concentrates in the constituency category, which exhibits a 1.79 percentage point penalty in audience classi6ication con6idence. Given the high baseline of agreement, this penalty represents a sharp relative increase in interpretive uncertainty. Within messages, intent remains clear while audience targeting becomes ambiguous. These patterns persist with politician 6ixed effects, suggesting that measurement error in political text is structured by strategic incentives rather than idiosyncratic coder error.

연구 동기 및 목표

• 메시지 유형, 당파성, 그리고 청중 분류에 걸쳐 주석가가 정치 메시지를 얼마나 잘 해석할 수 있는지 평가합니다.
• 오판이나 의견 불일치가 노이즈인지, 아니면 전략적 유인으로 인한 구조적 변동을 반영하는지 결정합니다.
• 전반적인 읽기 용이성(가독성)을 정량화하고 해석적 불확실성이 집중되는 위치를 식별합니다.

제안 방법

• 미국 정치인들의 소셜 미디어 메시지 5,000건의 해석 가능성을 측정하기 위해 신뢰도 가중 인간 주석을 사용합니다.
• 메시지 유형, 당파 편향, 그리고 청중 범주별로 평균 관객 분류 신뢰도를 계산합니다.
• 주석자 실수와 전략적 유인을 구분하기 위해 정치인 고정효과를 활용하여 지속적 패턴을 검정합니다.
• 특정 범주에서의 합의 기준선 수준과 페널티의 크기를 보고합니다.

실험 결과

연구 질문

• RQ1 주석 신뢰도로 측정된 정치 메시지의 전반적인 해석 가능성 수준은 어느 정도입니까?
• RQ2 해석적 불확실성이 특정 청중 범주나 메시지 유형에 집중되어 있습니까?
• RQ3 관찰된 패턴이 주석자 오류에 의해인지, 아니면 정치인의 전략적 유인에 의해인가요?

주요 결과

• 정치 커뮤니케이션은 일반적으로 해석이 쉬운 편이며, 메시지 유형, 당파 편향, 그리고 청중 분류 전반에서 평균 신뢰도가 0.99를 초과합니다.
• 선거구 범주가 관객 분류 신뢰도에서 1.79 퍼센트 포인트의 페널티를 보여, 해당 영역에서 해석적 불확실성이 상대적으로 급격히 증가했음을 시사합니다.
• 메시지 내에서 의도는 분명하지만 청중 타깃팅은 모호해집니다.
• 정치인 고정효과에서도 패턴이 지속되며, 측정 오차가 개인적 주석자 오류보다는 전략적 유인에 의해 구조화되고 있음을 시사합니다.