[论文解读] How Predictable is Your State? Leveraging Lexical and Contextual Information for Predicting Legislative Floor Action at the State Level

Vlad Eidelman, Anastassia Kornilova+1 more|arXiv (Cornell University)|Jun 13, 2018

Electoral Systems and Political Participation被引用 5

一句话总结

本文提出了一种多模态机器学习方法，用于预测全美50个州及华盛顿特区的州立法法案在立法会议上的行动结果，结合法案文本（词汇和上下文特征）与立法者及立法机构的上下文数据。该模型在预测立法会议行动方面达到86%的准确率，通过整合文本与上下文信号，相较于各州特定基线模型平均提升18%的准确率。

ABSTRACT

Modeling U.S. Congressional legislation and roll-call votes has received significant attention in previous literature. However, while legislators across 50 state governments and D.C. propose over 100,000 bills each year, and on average enact over 30% of them, state level analysis has received relatively less attention due in part to the difficulty in obtaining the necessary data. Since each state legislature is guided by their own procedures, politics and issues, however, it is difficult to qualitatively asses the factors that affect the likelihood of a legislative initiative succeeding. Herein, we present several methods for modeling the likelihood of a bill receiving floor action across all 50 states and D.C. We utilize the lexical content of over 1 million bills, along with contextual legislature and legislator derived features to build our predictive models, allowing a comparison of the factors that are important to the lawmaking process. Furthermore, we show that these signals hold complementary predictive power, together achieving an average improvement in accuracy of 18% over state specific baselines.

研究动机与目标

• 对全美50个州及华盛顿特区的州立法法案是否获得立法会议审议这一任务进行建模，该任务因数据稀缺和程序多样性而研究不足。
• 探究法案文本的词汇内容与上下文特征（如提案人特征、立法机构结构）如何共同影响立法会议行动结果。
• 比较在多样化州立法体系中，基于文本的特征、上下文特征及其组合的预测能力。
• 实证识别与州层面立法推进成功相关的语言与上下文模式。

提出的方法

• 作者收集并处理了来自全美50个州及华盛顿特区超过100万条州立法法案，从法案文本和立法元数据中提取词汇和上下文特征。
• 文本特征包括TF-IDF表示和上下文嵌入（如基于BERT的表示），以捕捉语义意义和政策内容。
• 上下文特征包括提案人所属政党、职业、意识形态、委员会分配情况，以及州级立法机构结构（如两院制、政党控制）。
• 使用梯度提升树模型（如XGBoost）训练以预测立法会议行动的可能性，结合使用文本和上下文特征。
• 通过跨州和跨立法 chamber 的验证评估模型性能，使用准确率、AUC和F1-score进行衡量。
• 研究开展消融分析，以分离文本特征、上下文特征及两者组合的独立贡献。

实验结果

研究问题

• RQ1 在多样化州立法体系中，词汇和上下文特征如何共同预测立法会议行动的可能性？
• RQ2 与提案人特征等上下文特征相比，法案文本内容（如政策领域、意识形态语气）在预测立法会议行动中的贡献程度如何？
• RQ3 在立法程序和政治环境不同的州中，文本与上下文特征的相对贡献如何变化？
• RQ4 法案文本中哪些语言模式最能预测立法会议行动，且在不同州之间有何差异？
• RQ5 在全美范围内联合训练的统一模型是否能超越各州特定基线模型，在预测立法会议行动方面表现更优？

主要发现

• 结合文本与上下文特征的模型在预测立法会议行动方面达到86%的准确率，显著优于各州特定基线模型。
• 词汇与上下文信号的整合相较于各州特定基线模型平均提升18%的准确率，证明了其互补的预测能力。
• 仅使用文本特征（just_txt）的表现优于仅使用上下文特征的模型（no_txt_spon），但两者的组合实现了最佳性能。
• 最具预测力的短语包括程序性与财政语言（如“appropriation”、“fiscal year”），而预测力较低的短语通常涉及特定政策议题，如教育或税收抵免。
• 该模型识别出各州特有的语言模式——例如，纽约州关注医疗与教育资金，而宾夕法尼亚州则强调税收与公共安全语言——表明各州立法动态存在显著差异。
• 研究表明，尽管存在程序与政治多样性，统一建模方法仍能在各州间实现高度可靠的泛化预测。