[論文レビュー] Efficient candidate screening under multiple tests and implications for fairness

Lee S. Cohen, Zachary C. Lipton+1 more|arXiv (Cornell University)|May 27, 2019

Game Theory and Voting Systems被引用数 8

ひとこと要約

本稿は、複数のノイズを持つテストにおける最適な候補者スクリーニングを検討し、誤検出を最小限に抑えるとともに公平性をバランスさせる動的および固定テスト方針を提案する。ノイズの不均一性が人種的・文化的背景ごとに異なる場合、同一のテストルールと結果を適用することは根本的にな不可能であり、採用システムにおける根本的な公平性のトレードオフを明らかにしている。

ABSTRACT

When recruiting job candidates, employers rarely observe their underlying skill level directly. Instead, they must administer a series of interviews and/or collate other noisy signals in order to estimate the worker's skill. Traditional economics papers address screening models where employers access worker skill via a single noisy signal. In this paper, we extend this theoretical analysis to a multi-test setting, considering both Bernoulli and Gaussian models. We analyze the optimal employer policy both when the employer sets a fixed number of tests per candidate and when the employer can set a dynamic policy, assigning further tests adaptively based on results from the previous tests. To start, we characterize the optimal policy when employees constitute a single group, demonstrating some interesting trade-offs. Subsequently, we address the multi-group setting, demonstrating that when the noise levels vary across groups, a fundamental impossibility emerges whereby we cannot administer the same number of tests, subject candidates to the same decision rule, and yet realize the same outcomes in both groups.

研究の動機と目的

• 候補者が単一の信号ではなく複数のノイズを持つテストで評価される場合の、雇用主の意思決定プロセスをモデル化すること。
• 誤検出率に制約を設けた下での最適なスクリーニング方針（固定および動的）を分析すること。
• 同一の潜在的スキル分布があるにもかかわらず、テストノイズが人種的・文化的背景ごとに異なる場合の公平性への影響を調査すること。
• ノイズレベルが不均一な状況下では、グループ間で同一のテストルールと結果を適用することが根本的にな不可能であることを示すこと。
• 誤検出を最小限に抑えつつ、効率性を維持し、しきい値の調整によって公平性を調整可能なグリーディ方針を提案すること。

提案手法

• 労働者のスキルとテスト結果にベルヌーイ分布およびガウス分布を用いてマルチテストスクリーニングモデルを形式化する。
• 確率的しきい値ルールを用いて最適方針を導出し、動的テストプロセスを対数後確信オッズ上のギャンブラーの破産問題に還元する。
• ホーフィングの不等式を用いて、パラメータ回復（例：ノイズレベルσ、ベーススキル確率p）における推定誤差を制限する。
• 統計的推定手法を用いて、真のスキル水準にアクセスできない状況下で、観察されたテスト結果からグループレベルのパラメータ（σ、p、μ、ση²）を推定する。
• 誤検出率をグループ間で均等化するために、拒否しきい値を調整する修正されたグリーディ方針を提案する。
• 差別の影響理論の観点から公平性を分析し、ノイズの不均一性がある状況下では、同一のテスト回数とルールを適用しても、グループ間で結果が不均等になることを示す。

実験結果

リサーチクエスチョン

• RQ1 複数の条件付き独立テストが利用可能な場合、雇用主の最適な候補者スクリーニング方針は何か？
• RQ2 過去の結果に基づいてテストを動的に割り当てる戦略は、固定テスト方針と比較して、誤検出率および誤検出率にどのように影響を与えるか？
• RQ3 同一の潜在的スキル分布があるにもかかわらず、テストノイズレベルが人種的・文化的背景ごとに異なる場合、公平性にどのような影響が生じるか？
• RQ4 グループ間で同一の意思決定ルールとテスト回数を適用しても、結果が均等になることは可能か、それともノイズの不均一性がある状況下では根本的にな不可能なのか？
• RQ5 誤検出を最小限に抑えつつ、誤検出率をグループ間で均等化できるように、スクリーニング方針をどのように修正できるか？

主な発見

• マルチテスト設定において、誤検出率制約下での最適方針は、後確信オッズに基づく確率的しきい値ルールである。
• 動的テストにおいて最適戦略は、高スキルであるという後確信オッズが、許容可能な誤検出率に応じて定まるしきい値を超えるまでテストを継続することである。
• 動的テストプロセスは、対数後確信オッズ上のギャンブラーの破産問題に還元され、正確な解の導出が可能になる。
• テストノイズがグループ間で異なる場合、同じ数のテスト、同じ意思決定ルールを適用し、かつ両グループで同じ結果を得ることは根本的にな不可能である。
• グリーディ方針は、1人あたりの採用に必要なテスト回数の期待値を最小限に抑えつつ、目標誤検出率を維持できるが、ノイズの大きいグループでは誤検出率が高くなる。
• 拒否しきい値を調整することで（例：ε′ < p）、グリーディ方針を調整し、誤検出率をグループ間で均等化させることができる。これにより、機会の平等に基づく公平性が向上する。