[논문 리뷰] Entrofy Your Cohort: A Data Science Approach to Candidate Selection

Daniela Huppenkothen, Brian McFee외 1명|arXiv (Cornell University)|2019. 05. 08.

Names, Identity, and Discrimination Research참고 문헌 36인용 수 4

한 줄 요약

이 논문은 망각된 정량적 평가 이후 다양성 기반 코hort 선택을 자동화하는 데이터 과학 알고리즘인 Entrofy를 소개한다. 사전 정의된 인구통계학적 및 범주형 기준을 최적화함으로써 Entrofy는 투명하고 감사 가능하며 편향에 강건한 고성과 후보자 선정을 보장한다. 시뮬레이션과 2016년 아스트로 해킹 위크 사례 연구를 통해 검증되었다.

ABSTRACT

Selecting a cohort from a set of candidates is a common task within and beyond academia. Admitting students, awarding grants, choosing speakers for a conference are situations where human biases may affect the make-up of the final cohort. We propose a new algorithm, Entrofy, designed to be part of a larger decision making strategy aimed at making cohort selection as just, quantitative, transparent, and accountable as possible. We suggest this algorithm be embedded in a two-step selection procedure. First, all application materials are stripped of markers of identity that could induce conscious or sub-conscious bias. During blind review, the committee selects all applicants, submissions, or other entities that meet their merit-based criteria. This often yields a cohort larger than the admissible number. In the second stage, the target cohort can be chosen from this meritorious pool via a new algorithm and software tool. Entrofy optimizes differences across an assignable set of categories selected by the human committee. Criteria could include gender, academic discipline, experience with certain technologies, or other quantifiable characteristics. The Entrofy algorithm yields the computational maximization of diversity by solving the tie-breaking problem with provable performance guarantees. We show how Entrofy selects cohorts according to pre-determined characteristics in simulated sets of applications and demonstrate its use in a case study. This cohort selection process allows human judgment to prevail when assessing merit, but assigns the assessment of diversity to a computational process less likely to be beset by human bias. Importantly, the stage at which diversity assessments occur is fully transparent and auditable with Entrofy. Splitting merit and diversity considerations into their own assessment stages makes it easier to explain why a given candidate was selected or rejected.

연구 동기 및 목표

• 특히 입학, 보조금, 컨ferenced 스피커 선정과 같은 분야에서 학술 및 전문적 코hort 선정 과정에서의 인간적 편향을 해결한다.
• 성과 평가와 다양성 고려를 분리하여 암묵적 편향을 줄이고 공정성을 향상시킨다.
• 투명하고 감사 가능하며 재현 가능한 방식으로 고성과 후보자 집단에서 다양한 코hort를 선정할 수 있는 계산 도구를 개발한다.
• 위원회 결정에서 흔히 사용되는 직관적 또는 히우리스틱 기반의 선정 방법에 대한 확장 가능한 정량적 대안을 제공한다.
• 실제 학술 환경, 예를 들어 워크숍과 컨퍼런스에서 알고리즘 기반 다양성 최대화의 실현 가능성과 효과성을 입증한다.

제안 방법

• 두 단계 선정 과정을 구현한다: 첫 번째로, 이름, 소속, 신원 표시를 제거하여 모든 자격 있는 후보자를 식별하는 망각된 정량적 평가를 실시한다.
• 두 번째로, 사용자가 정의한 다양성 기준에 따라 정량적 자격을 갖춘 후보자 풀에서 최종 코hort를 선정하기 위해 Entrofy 알고리즘을 적용한다.
• 성별, 국가, 전공, 기술 경험 등 다수의 범주형 속성에서 다양성을 최대화하는 최적화 프레임워크를 사용하며, 성능 보장이 입증된다.
• 다양성 목표와 높은 성과 유지 요구 사항을 동시에 충족하는 제약 조건이 있는 최적화 문제로 선정을 공식화한다.
• 조합 최적화 기법을 활용하여 효율적이고 수학적으로 타당한 방식으로 동점자 결정 문제를 해결한다.
• Entrofy 알고리즘에서 사용된 모든 결정 및 기준을 로깅함으로써 전체 과정의 투명성과 감사 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 伝통적인 위원회 기반 방법에 비해 알고리즘적 접근이 코hort 선정의 공정성과 투명성에 개선을 이룰 수 있는가?
• RQ2 성과 기반 선정을 유지하면서 다양성을 얼마나 체계적으로 최대화할 수 있는가?
• RQ3 망각된 정량적 평가 이후 알고리즘 기반 다양성 선정으로 구성된 두 단계 과정이 최종 코hort의 구성과 책임감에 어떤 영향을 미치는가?
• RQ4 다양성 기준이 여러 범주형 제약 조건이 있는 실제 상황에서 Entrofy 알고리즘이 최적 또는 근접 최적의 다양성 결과를 신뢰성 있게 도출할 수 있는가?
• RQ5 다양한 후보자 풀을 가진 학술 워크숍, 컨퍼런스 및 입학 과정에서 Entrofy를 사용하는 데 실질적인 의미는 무엇인가?

주요 결과

• Entrofy는 시뮬레이션 데이터셋과 실제 응용 사례인 2016년 아스트로 해킹 위크에서 모두 사전 정의된 다양성 목표를 충족하는 코hort를 성공적으로 생성했다.
• 모든 시험 환경에서 최적 또는 근접 최적의 다양성 점수를 달성하여 최적화 프레임워크 하에서 강력한 성능 보장을 입증했다.
• 망각된 정량적 평가 이후 알고리즘 기반 다양성 선정으로 구성된 두 단계 과정은 전통적인 위원회 기반 선정보다 더 투명하고 감사 가능한 결과를 이끌어냈다.
• 성과 평가와 다양성 평가를 분리함으로써 최종 선정에서 암묵적 편향의 위험을 줄였다.
• 아스트로 해킹 위크 2016 사례 연구는 Entrofy가 성별, 경력 단계, 지리적 기원 측면에서 균형 잡힌 코hort를 유지하면서도 높은 성과 기준을 유지할 수 있음을 보여주었다.
• 오픈소스 소프트웨어와 완전히 재현 가능한 코드(깃허브에서 제공)는 다양한 학술 및 전문적 환경에서의 복제 및 도입을 가능하게 한다.