[論文レビュー] Validating Political Position Predictions of Arguments

Jordan Robinson, Angus R. Williams+2 more|arXiv (Cornell University)|Feb 20, 2026

Topic Modeling被引用数 0

ひとこと要約

要約: 本論文は、点値と対数的な人間アノテーションを組み合わせた二重スケール検証フレームワークを提案し、30件のBBC Question Time討論から23,228の論証ユニットの政治的立場予測を検証する。22の言語モデルを用い、グラフベースの推論と検索拡張生成のための構造化されたナレッジベースを構築する。

ABSTRACT

Real-world knowledge representation often requires capturing subjective, continuous attributes -- such as political positions -- that conflict with pairwise validation, the widely accepted gold standard for human evaluation. We address this challenge through a dual-scale validation framework applied to political stance prediction in argumentative discourse, combining pointwise and pairwise human annotation. Using 22 language models, we construct a large-scale knowledge base of political position predictions for 23,228 arguments drawn from 30 debates that appeared on the UK politicial television programme extit{Question Time}. Pointwise evaluation shows moderate human-model agreement (Krippendorff's $α=0.578$), reflecting intrinsic subjectivity, while pairwise validation reveals substantially stronger alignment between human- and model-derived rankings ($α=0.86$ for the best model). This work contributes: (i) a practical validation methodology for subjective continuous knowledge that balances scalability with reliability; (ii) a validated structured argumentation knowledge base enabling graph-based reasoning and retrieval-augmented generation in political domains; and (iii) evidence that ordinal structure can be extracted from pointwise language models predictions from inherently subjective real-world discourse, advancing knowledge representation capabilities for domains where traditional symbolic or categorical approaches are insufficient.

研究の動機と目的

• 大規模言語モデルが生成する主観的で連続的な政治的立場スコアの検証課題に対処する。
• スケーラブルな点値判断と信頼性の高い対比較を組み合わせて、序数的な政治的立場を捉える。
• 予測された政治的立場を持つlocution–argumentユニットの大規模で構造化された知識ベースを構築する。
• 政治的談話における下流のグラフベース推論と検索拡張生成を可能にする。
• 主観的な実世界の談話から点値予測から序数的構造を抽出できることを証拠として提供する。

提案手法

• 点値と対比較の人間アノテーションを組み合わせた二重スケール検証フレームワークを開発。
• 30のQuestion Time討論から23,228の locution–propositionペア（ADU）に対し、22のLLMを用いて0–100の左−右スケールで政治的立場を予測。
• 3つのモデ​​ルエンサンブル（E1: 全モデル、E2: 推論モデル、E3: 高信頼度モデル）を構築し、予測を集計。
• 人間による検証は2段階で実施：点値の政治的対非政治的分類と対比較の議論比較、1,500人超のクラウドワーカーを使用。
• 予測をNeo4jの知識グラフとして表現し、locution、ADU、関係（support/attack/rephrase）をリンクさせる。
• 点値予測をKrippendorffのαnで評価し、対比較のランキングをBradley–Terryモデルと序数的一致指標で評価し、潜在的政治スケールにマッピング。

Figure 1: Overview of the methodology used to instantiate a structured argumentative knowledge base containing political positions predictions for all arguments. Green boxes indicate components developed specifically for this study.

実験結果

リサーチクエスチョン

• RQ1 政治的立場の点値予測が主観的な談話において人間の判断と整合するか？
• RQ2 対比較（序数）による検証を導入することで、議論の政治的立場予測の信頼性と有用性が改善されるか？
• RQ3 大規模で構造化された論点の知識ベースは、政治分野におけるグラフベース推論と検索拡張生成をどの程度支援できるか？
• RQ4 モデルの不一致と人間の不一致、および論点ユニットレベルの政治的立場予測の下流タスク性能との関係はどうなるか？

主な発見

• 点値における人-モデルの合意は全データで中程度（点値評価で best model の Krippendorff’s αn = 0.578）。
• 対比較の検証は、人間とモデル由来のランキングの整合性をはるかに高く示す（αo ≈ 0.85–0.86 が上位モデルで）。
• 点値クラウドラベルのアノテータ間の合意は全データセットでは低い（αn ≈ 0.305）ものの、全会一致ラベルでは改善（αn ≈ 0.483）。
• モデルの性能は人間の合意と相関し、人間−モデルの合意が高いほど macro F1/micro F1/-balanced accuracy が高く、信頼度の高いサブセットは曖昧なものよりも優れる。
• ランキングタスクでは分布全体でアンサンブルが個別モデルを上回り、特定の高信頼度条件下では高信頼度の個別モデルがアンサンブル性能に近づく。
• 本研究は、政治談話におけるグラフベース推論と検索拡張生成を可能にする検証済みの知識ベースを提供し、主観的な連続的知識検証のスケーラブルな方法論を確立している。

Figure 2: Nominal Krippendorff’s $\alpha_{n}$ measuring inter-model agreement across data partitions.