[論文レビュー] Clear Messages, Ambiguous Audiences: Measuring Interpretability in Political Communication
要約: 本論文は、米国政治家の5,000件のソーシャルメディア投稿に対する信頼度加重の人間注釈を用いて、解釈可能な政治メッセージの程度を検証し、全体的な読みやすさが高い一方で聴衆の構成要素に影響されることが顕著であるという結論を見出しています。
Text-based measurement in political research often treats classi6ication disagreement as random noise. We examine this assumption using con6idence-weighted human annotations of 5,000 social media messages by U.S. politicians. We 6ind that political communication is generally highly legible, with mean con6idence exceeding 0.99 across message type, partisan bias, and audience classi6ications. However, systematic variation concentrates in the constituency category, which exhibits a 1.79 percentage point penalty in audience classi6ication con6idence. Given the high baseline of agreement, this penalty represents a sharp relative increase in interpretive uncertainty. Within messages, intent remains clear while audience targeting becomes ambiguous. These patterns persist with politician 6ixed effects, suggesting that measurement error in political text is structured by strategic incentives rather than idiosyncratic coder error.
研究の動機と目的
- メッセージタイプ、党派性、聴衆分類にわたって、注釈者が政治メッセージをどれだけ正しく解釈できるかを評価する。
- 誤分類や意見の不一致がノイズか、戦略的インセンティブによる構造的変動かを判断する。
- 全体の可読性を定量化し、解釈的不確実性が集中する箇所を特定する。
提案手法
- 米国政治家の5,000件のソーシャルメディア投稿の解釈可能性を測るために信頼度加重の人間注釈を使用する。
- メッセージタイプ、党派偏向、聴衆カテゴリー別に平均的な聴衆分類信頼度を計算する。
- coder エラーと戦略的インセンティブを分けるために政治家固定効果で一貫したパターンを検証する。
- 基準となる合意レベルと特定カテゴリでの罰則の大きさを報告する。
実験結果
リサーチクエスチョン
- RQ1注釈信頼度で測定した政治メッセージの全体的な解釈可能性のレベルはどの程度か。
- RQ2解釈的不確実性は特定の聴衆カテゴリーやメッセージタイプに集中するか。
- RQ3観測されたパターンはコーダーエラーか、それとも政治家の戦略的インセンティブによるものか。
主な発見
- 政治的コミュニケーションは概して高く読解可能であり、メッセージタイプ、党派偏向、聴衆分類のすべてで平均信頼度は0.99を超える。
- 聴衆分類の“ constituency ”カテゴリには聴衆分類信頼度に1.79パーセントポイントのペナルティが見られ、解釈的不確実性が相対的に高まっている。
- メッセージ内では意図は明確なままで、聴衆ターゲティングはあいまいになる。
- 政治家固定効果を用いたパターンは持続し、測定誤差は個々のコーダーエラーよりも戦略的インセンティブによって構造化されていることを示唆する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。