[논문 리뷰] Predicting job-hopping likelihood using answers to open-ended interview questions

Madhura Jayaratne, Buddhi Jayatilleke|arXiv (Cornell University)|2020. 07. 22.

Personality Traits and Psychology참고 문헌 43인용 수 2

한 줄 요약

이 연구는 45,000명 이상의 지원자들이 제출한 개방형 인터뷰 응답에 자연어 처리를 적용하여 이직 가능성 예측을 수행한다. GloVe 단어 임베딩을 사용하여 응답의 언어 패턴과 자가 보고한 이직 성향 사이에 유의미한 양의 상관관계(r=0.35)를 확인하였으며, 경험에 대한 열린 태도(Openness to experience) 역시 이직 가능성과 높은 상관관계(r=0.25)를 보였다.

ABSTRACT

Voluntary employee turnover incurs significant direct and indirect financial costs to organizations of all sizes. A large proportion of voluntary turnover includes people who frequently move from job to job, known as job-hopping. The ability to discover an applicant's likelihood towards job-hopping can help organizations make informed hiring decisions benefiting both parties. In this work, we show that the language one uses when responding to interview questions related to situational judgment and past behaviour is predictive of their likelihood to job hop. We used responses from over 45,000 job applicants who completed an online chat interview and also self-rated themselves on a job-hopping motive scale to analyse the correlation between the two. We evaluated five different methods of text representation, namely four open-vocabulary approaches (TF-IDF, LDA, Glove word embeddings and Doc2Vec document embeddings) and one closed-vocabulary approach (LIWC). The Glove embeddings provided the best results with a positive correlation of r=0.35 between sequences of words used and the job-hopping likelihood. With further analysis, we also found that there is a positive correlation of r=0.25 between job-hopping likelihood and the HEXACO personality trait Openness to experience. In other words, the more open a candidate is to new experiences, the more likely they are to job hop. The ability to objectively infer a candidate's likelihood towards job hopping presents significant opportunities, especially when assessing candidates with no prior work history. On the other hand, experienced candidates who come across as job hoppers, based purely on their resume, get an opportunity to indicate otherwise.

연구 동기 및 목표

• 개방형 인터뷰 응답을 통해 이직 행동의 언어적 예측 요소를 특정하기 위해.
• 이직 가능성 예측에 적합한 다수의 텍스트 표현 방법을 객관적으로 평가하기 위해.
• 특히 경험에 대한 열린 태도와 같은 성격 특성과 이직 성향 간의 관계를 평가하기 위해.
• 이력이 없는 지원자들을 위해 이직 위험을 예측함으로써 채용 결정을 지원하기 위해.
• 이력서 기반으로 이직자로 보이는 지원자들이 인터뷰 언어를 통해 자신의 의도를 명확히 할 수 있도록 하기 위해.

제안 방법

• 온라인 채팅 인터뷰 중 45,000명 이상의 지원자들로부터 개방형 응답을 수집하였다.
• 자기 평가 기반의 이직 동기 척도를 사용하여 이직 가능성 수준을 측정하였다.
• 다섯 가지 텍스트 표현 방법을 평가: TF-IDF, LDA, GloVe 단어 임베딩, Doc2Vec 문서 임베딩, LIWC.
• 언어적 특징과 이직 가능성, 성격 특성 간의 상관관계 분석을 수행하였다.
• 예측 패턴을 포착하는 데 뛰어난 성능을 보인 점을 고려해 GloVe 임베딩을 주요 방법으로 적용하였다.
• 이중 분석을 통해 이직 가능성과 HEXACO 성격 특성 중 경험에 대한 열린 태도 간의 상관관계를 분석하였다.

실험 결과

연구 질문

• RQ1 개방형 인터뷰 응답의 언어 패턴은 지원자의 이직 가능성 예측에 사용될 수 있는가?
• RQ2 인터뷰 응답에서 이직 가능성 예측에 가장 우수한 성능을 보이는 텍스트 표현 방법은 무엇인가?
• RQ3 경험에 대한 열린 태도와 이직 성향 간에 측정 가능한 상관관계가 존재하는가?
• RQ4 언어 분석을 통해 이력이 없는 지원자들 중 이직자로 보이는 이들을 식별할 수 있는가?
• RQ5 이력서 기반으로 이직자로 보이는 지원자들이 인터뷰 언어를 통해 다른 의도를 전달할 수 있는가?

주요 결과

• GloVe 단어 임베딩가 가장 높은 예측 성능을 보였으며, 언어 패턴과 이직 가능성 간 상관계수 r=0.35를 기록하였다.
• 경험에 대한 열린 태도와 이직 가능성 간에 r=0.25의 양의 상관관계가 확인되었다.
• 개방형 인터뷰 응답을 활용하면, 이력이 없는 지원자들에 대해서도 이직 성향을 객관적으로 예측할 수 있다.
• 시험한 다섯 가지 텍스트 표현 방법 중에서 GloVe는 TF-IDF, LDA, Doc2Vec, LIWC보다 높은 예측 정확도를 보였다.
• 이력서 기반으로 이직자로 보이는 지원자들이 인터뷰 언어를 통해 다른 의도를 전달할 수 있어, 정정 가능한 메커니즘이 제공된다.
• 결과적으로 인터뷰 응답의 언어적 단서는 이직 행동의 타당하고 측정 가능한 대체 지표로 기능한다.