[论文解读] Automated Analysis and Prediction of Job Interview Performance

Iftekhar Naim, Md. Iftekhar Tanveer+3 more|arXiv (Cornell University)|Apr 14, 2015

Emotion and Mood RecognitionPsychology参考文献 43被引用 16

一句话总结

本文提出了一种多模态计算框架，可自动分析求职面试视频中的语言、语调和面部特征，以预测面试表现评分。该系统基于138名MIT学生的面试数据进行训练，预测参与度和友好度等关键特质的准确率相关系数超过0.75，并识别出语言流利度、减少填充词使用以及增加微笑是成功的关键因素。

ABSTRACT

We present a computational framework for automatically quantifying verbal and nonverbal behaviors in the context of job interviews. The proposed framework is trained by analyzing the videos of 138 interview sessions with 69 internship-seeking undergraduates at the Massachusetts Institute of Technology (MIT). Our automated analysis includes facial expressions (e.g., smiles, head gestures, facial tracking points), language (e.g., word counts, topic modeling), and prosodic information (e.g., pitch, intonation, and pauses) of the interviewees. The ground truth labels are derived by taking a weighted average over the ratings of 9 independent judges. Our framework can automatically predict the ratings for interview traits such as excitement, friendliness, and engagement with correlation coefficients of 0.75 or higher, and can quantify the relative importance of prosody, language, and facial expressions. By analyzing the relative feature weights learned by the regression models, our framework recommends to speak more fluently, use less filler words, speak as "we" (vs. "I"), use more unique words, and smile more. We also find that the students who were rated highly while answering the first interview question were also rated highly overall (i.e., first impression matters). Finally, our MIT Interview dataset will be made available to other researchers to further validate and expand our findings.

研究动机与目标

• 开发一种自动化、可扩展的框架，用于量化求职面试中的言语与非言语行为。
• 利用多模态音视频数据预测整体面试评分及特定社交特质（如兴奋感、友好度）。
• 确定语言、语调和面部表情在影响面试评分中的相对重要性。
• 基于数据驱动的洞察，生成可操作的建议，以改善面试表现。
• 发布MIT面试数据集，以支持未来在自动化面试分析领域的研究。

提出的方法

• 从69名MIT本科生与专业职业顾问进行的面试中收集了138段求职面试视频。
• 提取多模态特征：词汇特征（词数、主题建模）、语调特征（音高、语调、停顿）以及面部特征（微笑、头部动作、面部追踪点）。
• 通过Mechanical Turk众包工作者（每段视频9人）生成真实评分，并使用EM算法聚合结果以考虑工作者的可靠性。
• 训练支持向量回归（SVR）模型，采用线性、二次、三次和高斯核，以预测整体评分及特定特质评分。
• 分析回归模型中学习到的特征权重，推断其相对重要性并生成表现改进建议。
• 使用相关系数（r）和AUC分数评估模型性能，与基线（AUC = 0.50）进行对比。

实验结果

研究问题

• RQ1 我们能否自动量化言语与非言语行为，并评估其在整体求职面试评分中的作用？
• RQ2 我们能否构建一个计算框架，从音视频记录中预测整体面试评分？
• RQ3 语言、语调和面部表情在预测面试表现中的相对重要性如何？
• RQ4 我们能否生成自动化、数据驱动的建议，以改善面试中兴奋感、友好度和参与度等社交特质？

主要发现

• 该框架预测整体面试评分的相关系数为 r = 0.80，显著优于基线AUC（0.50）。
• 参与度、兴奋感和友好度等关键特质的预测相关系数 r ≥ 0.75，AUC > 0.85。
• 系统识别出：语言更流利、使用更少填充词、用‘我们’代替‘我’、使用更多独特词汇以及增加微笑，是提升表现的首要建议。
• 在第一个问题中得分较高的面试者，整体评分也始终较高，表明第一印象具有显著影响。
• 线性核SVR优于非线性核，表明这些特征表现出相对简单的线性关系，而非复杂交互。
• 公开发布包含138段面试会话的MIT面试数据集，以支持多模态面试分析的进一步研究。