[논문 리뷰] Predicting the Behavior of the Supreme Court of the United States: A General Approach

Daniel Katz, Michael James Bommarito외 1명|arXiv (Cornell University)|2014. 07. 23.

Judicial and Constitutional Studies인용 수 32

한 줄 요약

이 논문은 초과 랜덤 트리와 새로운 특징 공학을 사용하여 미국 연방 대법원의 투표 행동에 대한 처음으로 강건하고 일반화되며 완전히 예측 가능한 모델을 제시한다. 이 모델은 1953~2013년 동안의 7,700宗의 사건에 대해 확정/기각 결정을 예측할 때 69.7%의 정확도를 달성하고, 개별 대법원 판사의 투표를 예측할 때는 70.9%의 정확도를 기록하여, 표본 외 검증이 강력한 양적 법적 예측 분야에서 중대한 진전을 이룩한다.

ABSTRACT

Building upon developments in theoretical and applied machine learning, as well as the efforts of various scholars including Guimera and Sales-Pardo (2011), Ruger et al. (2004), and Martin et al. (2004), we construct a model designed to predict the voting behavior of the Supreme Court of the United States. Using the extremely randomized tree method first proposed in Geurts, et al. (2006), a method similar to the random forest approach developed in Breiman (2001), as well as novel feature engineering, we predict more than sixty years of decisions by the Supreme Court of the United States (1953-2013). Using only data available prior to the date of decision, our model correctly identifies 69.7% of the Court's overall affirm and reverse decisions and correctly forecasts 70.9% of the votes of individual justices across 7,700 cases and more than 68,000 justice votes. Our performance is consistent with the general level of prediction offered by prior scholars. However, our model is distinctive as it is the first robust, generalized, and fully predictive model of Supreme Court voting behavior offered to date. Our model predicts six decades of behavior of thirty Justices appointed by thirteen Presidents. With a more sound methodological foundation, our results represent a major advance for the science of quantitative legal prediction and portend a range of other potential applications, such as those described in Katz (2013).

연구 동기 및 목표

• 표본 외 검증이 가능한 일반적이고 강건하며 완전히 예측 가능한 대법원 투표 행동 모델을 개발하기 위해.
• 이전 모델들이 주로 설명적이거나 엄격한 표본 외 테스트를 포함하지 못하는 한계를 극복하기 위해.
• 기계 학습을 활용한 정량적 법적 예측에 대해 방법론적으로 타당한 기반을 제공하기 위해.
• 결정 이전에 확보 가능한 데이터만을 사용하여 전체 사건 결과(확정/기각)와 개별 판사 투표를 모두 예측하기 위해.
• 개별 판사의 시간적 예측 가능성과 투표 구성이 모델 성능에 미치는 영향을 탐구하기 위해.

제안 방법

• 특징 선택 및 분할 점에서 추가적인 무작위성을 도입하는 랜덤 포레스트의 변종인 초과 랜덤 트리(Extra-Trees) 알고리즘을 사용한다.
• 각 사건의 결정일 이전에 확보 가능한 데이터만을 사용하여 진정한 표본 외 예측을 보장한다.
• 사건 결과에 관련된 법적, 제도적, 이념적 변수를 코딩하기 위해 새로운 특징 공학을 적용한다.
• 1953년부터 2013년까지 7,700건의 사건과 68,000건 이상의 개별 판사 투표를 기반으로 훈련하였으며, 13명의 대통령에 의해 임명된 30명의 판사가 포함된다.
• 시간 순서 기반 교차 검증을 적용하여 시간대별로 예측 정확도를 평가한다.
• 모델 성능을 판사, 연도, 투표 구성(예: 9-0 대비 5-4) 별로 분석하여 안정성과 조건부 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 기본적으로 결정 이전에 확보 가능한 데이터만을 사용하여 기계 학습 모델이 대법원의 확정/기각 결정을 정확히 예측할 수 있는가?
• RQ2 여러 임기와 이념적 성향을 가진 개별 판사의 투표 행동은 얼마나 잘 예측 가능한가?
• RQ3 모델 성능이 투표 구성(예: 전원일치 대비 분열 결정)에 따라 체계적으로 달라지는가?
• RQ4 개별 판사의 예측 가능성은 시간에 따라 얼마나 안정적인가? 어떤 판사가 가장/가장 예측하기 어려운가?
• RQ5 모델이 확정 결정을 제대로 예측하지 못하는 것은 모델의 한계 때문인가, 아니면 대법원 행동 내부의 잠재적 구조적 요인 때문인가?

주요 결과

• 1953~2013년 동안 7,700건의 사건에 대해 모델은 대법원의 전체 확정 또는 기각 결정을 69.7%의 정확도로 예측한다.
• 68,000건 이상의 개별 판사 투표에 대해 70.9%의 정확도로 예측하여 개인 수준에서 강력한 예측 능력을 입증한다.
• Douglas, Brennan, Thomas 등 일부 판사는 더 예측 가능하지만, Harlan, Frankfurter, Burton 등은 상당히 더 예측하기 어려운 편이다.
• 대부분의 판사에 대해 예측 가능성은 시간에 따라 일반적으로 안정적이지만, 1986년 Rehnquist가 대법원장으로 승진한 후 성능이 뚜렷이 저하된다.
• 9-0 결정(확정 및 기각 모두)에서 모델 성능이 가장 뛰어나며, 법원 내 의견 차이가 커지면서 정확도가 감소한다. 특히 5-4 분열 결정에서 감소가 두드러진다.
• 모델은 확정 결정에 대해 특히 어려움을 겪으며, 일부 연도에는 정확도가 25% 미만으로 떨어진다. 이는 공감 확정을 예측하는 데 지속적인 과제임을 시사한다.