[논문 리뷰] Making the Cut: A Bandit-based Approach to Tiered Interviewing

Candice Schumann, Zhi Lang외 2명|arXiv (Cornell University)|2019. 06. 01.

Advanced Bandit Algorithms Research인용 수 2

한 줄 요약

이 논문은 랜덤 다익음 밴딧 프레임워크 내에서 순차적 이력서 심사, 전화 면접, 대면 면접를 조합 순수 탐색 문제로 모델링하여 계층적 채용 프로세스를 최적화하기 위한 밴딧 기반 접근법을 제안한다. 이는 실질적인 데이터를 사용한 시뮬레이션에서 주요 미국의 컴퓨터 과학 대학원에서의 실제 데이터를 기반으로 기존 방법보다 우수한 성능을 보이며, 근접 최적의 지원자 집단을 보장 가능한 이론적 보장을 갖춘 새로운 PAC 및 고정 예산 알고리즘을 도입한다.

ABSTRACT

Given a huge set of applicants, how should a firm allocate sequential resume screenings, phone interviews, and in-person site visits? In a tiered interview process, later stages (e.g., in-person visits) are more informative, but also more expensive than earlier stages (e.g., resume screenings). Using accepted hiring models and the concept of structured interviews, a best practice in human resources, we cast tiered hiring as a combinatorial pure exploration (CPE) problem in the stochastic multi-armed bandit setting. The goal is to select a subset of arms (in our case, applicants) with some combinatorial structure. We present new algorithms in both the probably approximately correct (PAC) and fixed-budget settings that select a near-optimal cohort with provable guarantees. We show via simulations on real data from one of the largest US-based computer science graduate programs that our algorithms make better hiring decisions or use less budget than the status quo.

연구 동기 및 목표

• 대규모 지원자 풀에서 비용이 많이 들고 순차적인 채용 단계에 제한된 자원을 효율적으로 할당하는 문제를 해결하기 위해.
• 계층적 면접 프로세스를 스토케스틱 다익음 밴딧 프레임워크 내의 조합 순수 탐색(CPE) 문제로 모델링하기 위해.
• PAC 및 고정 예산 설정 하에서 근사 최적의 지원자 집단을 선택하기 위한 이론적 보장을 갖춘 새로운 알고리즘을 개발하기 위해.
• 기존의 순차적 선별 방법과 비교해 채용 품질을 향상시키거나 비용을 절감하기 위해.

제안 방법

• 저자들은 각 지원자를 스토케스틱 다익음 밴딧 설정에서의 암으로 모델링하며, 후속 단계(예: 대면 면접)는 더 많은 정보를 제공하지만 더 높은 비용이 든다.
• 채용 프로세스를 조합 순수 탐색(CPE) 문제로 프레임워크화하여, 최적의 집합 성능을 갖는 암(지원자)의 부분집합을 식별하는 것을 목표로 한다.
• 확률적으로 거의 정확한(PAC) 및 고정 예산 설정에 적합한 새로운 알고리즘을 제안하여 근사 최적의 지원자 집단을 고확률로 식별한다.
• 알고리즘은 구조화된 면접 원칙을 통합하고, 정보 수익을 활용해 각 단계 간의 순차적 자원 할당을 이끌어낸다.
• 밴딧 문헌에서 유래한 이론적 경계를 활용하여 표본 효율성과 근사 최적의 선택으로의 수렴을 보장한다.
• 성능 평가를 위해 주요 미국의 컴퓨터 과학 대학원에서의 실제 데이터를 기반으로 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 예산 제약 하에 품질을 극대화하기 위해 기업은 순차적이고 계층적인 면접 단계에 자원을 어떻게 최적 할당할 수 있는가?
• RQ2 비용을 최소화하면서도 높은 선택 정확도를 유지하면서 지원자 풀을 효율적으로 탐색할 수 있는 알고리즘 프레임워크는 무엇인가?
• RQ3 실제 채용 상황에서 다익음 밴딧 내의 조합 순수 탐색 접근법이 기존의 순차적 선별 방법보다 뛰어나게 작용할 수 있는가?
• RQ4 계층적 채용 프로세스에서 근사 최적의 지원자 집단을 선택하기 위한 이론적 보장은 무엇인가?

주요 결과

• 제안된 알고리즘은 주요 미국의 컴퓨터 과학 대학원에서의 실제 데이터를 사용한 시뮬레이션에서 기존 방법보다 더 나은 채용 결정을 달성한다.
• 선택 품질을 유지하거나 향상시키면서도 예산을 줄여 비용 효율성을 입증한다.
• PAC 및 고정 예산 변형 모두 근사 최적의 지원자 집단을 식별하는 데 있어 보장 가능한 이론적 보장을 제공한다.
• 밴딧 기반 접근법은 각 단계 간의 정보 수익을 기반으로 자원을 다이나믹하게 할당함으로써 표준 순차적 선별보다 뛰어난 성능을 보인다.
• 시뮬레이션 결과, 다양한 비용과 정보성 수준을 갖는 다단계 채용에서 탐색과 이용의 균형을 효과적으로 유지함을 보여준다.
• 밴딧 프레임워크 내에서 구조화된 면접 원칙을 적용함으로써 선별 과정의 신뢰성과 공정성을 향상시킨다.