[論文レビュー] Predicting the Behavior of the Supreme Court of the United States: A General Approach

Daniel Katz, Michael James Bommarito+1 more|arXiv (Cornell University)|Jul 23, 2014

Judicial and Constitutional Studies被引用数 32

ひとこと要約

本論文は、極めてランダムな木（Extra-Trees）と革新的な特徴工学を用いて、米国上訴裁判所の投票行動を初めて包括的で堅牢かつ完全に予測可能なモデルとして提示する。7,700件のケース（1953年～2013年）において、上告/破棄の意思決定を69.7％の正確さで予測し、個々の判事の投票を70.9％の正確さで予測する。これは、定量的法的予測分野における顕著な前進であり、妥当性の高い予測性能を示している。

ABSTRACT

Building upon developments in theoretical and applied machine learning, as well as the efforts of various scholars including Guimera and Sales-Pardo (2011), Ruger et al. (2004), and Martin et al. (2004), we construct a model designed to predict the voting behavior of the Supreme Court of the United States. Using the extremely randomized tree method first proposed in Geurts, et al. (2006), a method similar to the random forest approach developed in Breiman (2001), as well as novel feature engineering, we predict more than sixty years of decisions by the Supreme Court of the United States (1953-2013). Using only data available prior to the date of decision, our model correctly identifies 69.7% of the Court's overall affirm and reverse decisions and correctly forecasts 70.9% of the votes of individual justices across 7,700 cases and more than 68,000 justice votes. Our performance is consistent with the general level of prediction offered by prior scholars. However, our model is distinctive as it is the first robust, generalized, and fully predictive model of Supreme Court voting behavior offered to date. Our model predicts six decades of behavior of thirty Justices appointed by thirteen Presidents. With a more sound methodological foundation, our results represent a major advance for the science of quantitative legal prediction and portend a range of other potential applications, such as those described in Katz (2013).

研究の動機と目的

• 出荷時検証が可能な一般的で堅牢かつ完全に予測可能な上訴裁判所の投票行動モデルを構築すること。
• 従来のモデルが主に説明的であり、厳密な出荷時検証を欠いていたという限界を克服すること。
• 機械学習を用いた定量的法的予測のための方法論的基盤を提供すること。
• 意思決定日以前に入手可能なデータのみを用いて、全体のケース結果（上告／破棄）および個々の判事の投票を予測すること。
• 個々の判事の時間的予測可能性と、投票構成がモデルのパフォーマンスに与える影響を調査すること。

提案手法

• 特徴選択とスプリットポイントに追加のランダム性を導入するランダムフォレストの変種である極めてランダムな木（Extra-Trees）アルゴリズムを採用する。
• 各ケースの意思決定日以前に入手可能なデータのみを用い、真の出荷時予測を保証する。
• 法的、制度的、およびイデオロギー的要因を関連付けるために、革新的な特徴工学を適用する。
• 1953年から2013年までの7,700件のケースおよび30名の判事（13名の大統領が任命）による68,000件を超える個々の判事の投票を対象にトレーニングする。
• 時間的交差検証を用いて、時間的期間ごとの予測正確性を評価することで、パフォーマンスを検証する。
• 判事、年、投票構成（例：9対0対比5対4）ごとにモデルのパフォーマンスを分析し、安定性と条件付き正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 意思決定日以前のデータのみを用いて、機械学習モデルが上訴裁判所の上告／破棄意思決定を正確に予測できるか？
• RQ2 複数の任期およびイデオロギー的傾向を有する個々の判事の投票行動は、どの程度予測可能か？
• RQ3 モデルのパフォーマンスは、投票構成（例：全員一致対分裂）によって系統的に変化するか？
• RQ4 個々の判事の予測可能性は時間経過とともに安定しているか。また、どの判事が最も／最も予測困難か？
• RQ5 モデルが上告意思決定を正しく予測できない原因が、モデルの限界にあるのか、裁判所行動に潜在する構造的要因にあるのか、その程度はいかに？

主な発見

• 1953年から2013年までの7,700件のケースにおいて、モデルは上訴裁判所の全体的な上告または破棄意思決定を69.7％の正確さで予測した。
• 68,000件を超える個々の判事の投票を対象に、70.9％の正確さで予測した。これは、個別レベルでの強い予測力の証明である。
• ドーソン、ブレナン、トーマス判事はより予測可能である一方、ハラン、フランクファーラー、バートン判事は著しく予測が困難である。
• 大多数の判事に関しては、予測可能性は時間経過に伴い安定しているが、1986年にリヒンシュトロイ・ウィリアムが首席判事に就任した以降、著しく低下している。
• 9対0の意思決定（上告・破棄を問わず）でモデルのパフォーマンスが最も高く、判事間の合意が少ないほど正確性が低下し、特に5対4の分裂意思決定で顕著に低下する。
• モデルは上告意思決定の予測に著しく苦戦しており、一部の年では正しく予測できる割合が25％未満にとどまっている。これは、合意形成の上告意思決定を予測するという、継続的な課題を示している。