[論文レビュー] Predicting job-hopping likelihood using answers to open-ended interview questions

Madhura Jayaratne, Buddhi Jayatilleke|arXiv (Cornell University)|Jul 22, 2020

Personality Traits and Psychology参考文献 43被引用数 2

ひとこと要約

本研究では、45,000人以上の応募者からのオープンエンド面接応答を自然言語処理を用いて分析し、転職の可能性を予測している。GloVe単語埋め込みを用いて、応答内の言語パターンと自己申告された転職傾向との間に有意な正の相関（r=0.35）が確認された。また、開放的さ（Openness to experience）の特徴（r=0.25）も、転職の可能性と関連していた。

ABSTRACT

Voluntary employee turnover incurs significant direct and indirect financial costs to organizations of all sizes. A large proportion of voluntary turnover includes people who frequently move from job to job, known as job-hopping. The ability to discover an applicant's likelihood towards job-hopping can help organizations make informed hiring decisions benefiting both parties. In this work, we show that the language one uses when responding to interview questions related to situational judgment and past behaviour is predictive of their likelihood to job hop. We used responses from over 45,000 job applicants who completed an online chat interview and also self-rated themselves on a job-hopping motive scale to analyse the correlation between the two. We evaluated five different methods of text representation, namely four open-vocabulary approaches (TF-IDF, LDA, Glove word embeddings and Doc2Vec document embeddings) and one closed-vocabulary approach (LIWC). The Glove embeddings provided the best results with a positive correlation of r=0.35 between sequences of words used and the job-hopping likelihood. With further analysis, we also found that there is a positive correlation of r=0.25 between job-hopping likelihood and the HEXACO personality trait Openness to experience. In other words, the more open a candidate is to new experiences, the more likely they are to job hop. The ability to objectively infer a candidate's likelihood towards job hopping presents significant opportunities, especially when assessing candidates with no prior work history. On the other hand, experienced candidates who come across as job hoppers, based purely on their resume, get an opportunity to indicate otherwise.

研究の動機と目的

• オープンエンド面接応答を用いて、応募者の転職行動の言語的予測要因を特定すること。
• 転職の可能性を的確に予測するための複数のテキスト表現手法を評価すること。
• 特に開放的さというパーソナリティ特徴と転職傾向との関係を評価すること。
• 特に職歴のない応募者に対して、採用意思決定を支援するため、転職リスクを予測すること。
• レジュメで転職志向と見なされる候補者が、面接での言語によって意図を明確にできる機会を提供すること。

提案手法

• オンラインチャット面接中に得られた45,000人の応募者からのオープンエンド応答を収集した。
• 自己評価式の転職動機尺度を用いて、転職の可能性を測定した。
• 5つのテキスト表現手法（TF-IDF、LDA、GloVe単語埋め込み、Doc2Vec文書埋め込み、LIWC）を評価した。
• 言語的特徴と転職の可能性、パーソナリティ特徴との関連を相関分析で評価した。
• 予測パターンを捉える能力に優れたため、GloVe埋め込みを主な手法として採用した。
• 二次分析として、転職の可能性とHEXACOパーソナリティ特性の一つである開放的さとの相関を検証した。

実験結果

リサーチクエスチョン

• RQ1 オープンエンド面接応答内の言語パターンは、応募者の転職可能性を予測できるか？
• RQ2 どのテキスト表現手法が面接応答から転職の可能性を予測する際に最も優れた性能を示すか？
• RQ3 開放的さと転職傾向との間に測定可能な相関があるか？
• RQ4 言語的分析により、職歴のない応募者の中から転職者を特定できるか？
• RQ5 レジュメで転職志向に見える候補者が、面接言語によって異なる意図を示すことができるか？

主な発見

• GloVe単語埋め込みが最も高い予測性能を示し、言語的パターンと転職の可能性との間にr=0.35の相関が確認された。
• パーソナリティ特徴の一つである開放的さと転職の可能性との間に、r=0.25の正の相関が確認された。
• オープンエンド面接応答の使用により、職歴のない応募者に対しても、転職傾向の客観的予測が可能になった。
• テストされた5つのテキスト表現手法の中で、GloVeはTF-IDF、LDA、Doc2Vec、LIWCを上回る予測精度を示した。
• レジュメで転職志向と見なされる候補者は、面接言語を用いてそれとは異なる意図を示すことができ、是正のメカニズムが提供された。
• 結果から、面接応答内の言語的手がかりは、転職行動の妥当で測定可能な代理指標であることが示唆された。