[論文レビュー] Capacity Constraints Make Admissions Processes Less Predictable

Evan Dong, Nikhil Garg+1 more|arXiv (Cornell University)|Jan 16, 2026

Online Learning and Analytics被引用数 0

ひとこと要約

論文は、入学における容量制約がコホート依存を生み出し、標準的な機械学習モデルが予測に苦しむことで決定の不安定性とばらつきが生じ、申請者プールの変化に伴い予測性能が低下することを主張する。

ABSTRACT

Machine learning models are often used to make predictions about admissions process outcomes, such as for colleges or jobs. However, such decision processes differ substantially from the conventional machine learning paradigm. Because admissions decisions are capacity-constrained, whether a student is admitted depends on the other applicants who apply. We show how this dependence affects predictive performance even in otherwise ideal settings. Theoretically, we introduce two concepts that characterize the relationship between admission function properties, machine learning representation, and generalization to applicant pool distribution shifts: instability, which measures how many existing decisions can change when a single new applicant is introduced; and variability, which measures the number of unique students whose decisions can change. Empirically, we illustrate our theory on individual-level admissions data from the New York City high school matching system, showing that machine learning performance degrades as the applicant pool increasingly differs from the training data. Furthermore, there are larger performance drops for schools using decision rules that are more unstable and variable. Our work raises questions about the reliability of predicting individual admissions probabilities.

研究の動機と目的

• 入学の容量制約がコホート依存の決定を生み出し、標準ML仮定に挑戦することを動機づける。
• プールのシフトが一般化に影響を与える入学機能の特性を定義・形式化する（不安定性とばらつき）。
• 選択関数理論と機械学習表現を結びつけ、MLが入学プロセスを忠実に表現できる条件を評価する。
• NYCの高校マッチングデータと合成シミュレーションを用いて理論を実証し、プール変更下での予測課題を示す。

提案手法

• 容量制約（q-受容）を満たす選択関数としての入学モデルを構築する。
• 不安定性を新しい申請者が追加されたときに変化する既存の決定の最大数として定義する。
• ばらつきを新しい申請者によって置換され得る異なる受入れ学生の最大数として定義する。
• ML表現を選択関数の特性に関連づけ、独立予測モデルでは不安定/変動関数を表現できないことを示す。
• 総順序を持つ各キューの逐次構成が許容される予測表現を捉える条件を特徴づける。
• NYCの高校マッチングデータに適用し、異なるプールと選択関数の下で反実仮想の入学をシミュレータで生成する。

実験結果

リサーチクエスチョン

• RQ1 容量制約は入学決定にどのようにコホート依存を生み出すか？
• RQ2 入学選択関数の不安定性とばらつきの性質はMLの表現可能性とどう関係するか？
• RQ3 プール分布のシフトに対して、入学結果のML予測性能はどのように低下するか？
• RQ4 NYCのプログラムタイプ（Ed. Opt、Screened/Open、DIA有無）は不安定性とばらつきにどう差を生み、予測性に影響するか？

主な発見

• 容量制約付きの入学はコホート依存の決定を生み出し、標準的な独立予測MLモデルでは忠実には表現できない。
• 不安定性とばらつきは、プールの変化で変わる決定の数と、新しい申請者によって置換され得る異なる受入れ学生の数を定量化する。
• NYCデータでは異なるプール構成の下で入学をシミュレートし、申請者プールが時とともに変化するとML予測精度が低下することを発見した。
• 異なるプログラムタイプは不安定性とばらつきが異なり、多重キュー（逐次構成）は単一キューよりばらつきが高い。
• 分析対象のNYC関数はすべて1-不安定で、ばらつきはキューの数に等しい（Screened/Openは1、DIA有のEd. Optは最大6まで）。
• MLモデルによる個別申請結果を独立に予測する表現は0-不安定から1-不安定の関数を捉えられず、高度な不安定性/ばらつきには通用しない。