[論文レビュー] Automated Analysis and Prediction of Job Interview Performance

Iftekhar Naim, Md. Iftekhar Tanveer+3 more|arXiv (Cornell University)|Apr 14, 2015

Emotion and Mood RecognitionPsychology参考文献 43被引用数 16

ひとこと要約

本論文は、面接動画の言語的特徴、プロソディック特徴、顔貌的特徴を自動的に分析するマルチモーダルな計算フレームワークを提示する。138件のマサチューセッツ工科大学（MIT）の学生の面接動画で訓練されたこのシステムは、関与度や親しみやすさといった重要な特徴を0.75以上の相関係数で予測し、話法のなめらかさ、フィラー語の減少、笑顔の増加が成功要因であると特定した。

ABSTRACT

We present a computational framework for automatically quantifying verbal and nonverbal behaviors in the context of job interviews. The proposed framework is trained by analyzing the videos of 138 interview sessions with 69 internship-seeking undergraduates at the Massachusetts Institute of Technology (MIT). Our automated analysis includes facial expressions (e.g., smiles, head gestures, facial tracking points), language (e.g., word counts, topic modeling), and prosodic information (e.g., pitch, intonation, and pauses) of the interviewees. The ground truth labels are derived by taking a weighted average over the ratings of 9 independent judges. Our framework can automatically predict the ratings for interview traits such as excitement, friendliness, and engagement with correlation coefficients of 0.75 or higher, and can quantify the relative importance of prosody, language, and facial expressions. By analyzing the relative feature weights learned by the regression models, our framework recommends to speak more fluently, use less filler words, speak as "we" (vs. "I"), use more unique words, and smile more. We also find that the students who were rated highly while answering the first interview question were also rated highly overall (i.e., first impression matters). Finally, our MIT Interview dataset will be made available to other researchers to further validate and expand our findings.

研究の動機と目的

• 面接における言語的および非言語的行動を定量化する、自動的かつスケーラブルなフレームワークの開発。
• マルチモーダル音声・映像データを用いて、全体の面接評価および特定の社会的特徴（例：興奮、親しみやすさ）を予測すること。
• 言語、プロソディー、顔貌の相対的な重要度が面接評価に与える影響を特定すること。
• データ駆動型のイン사이트に基づいた、面接パフォーマンスの改善に向けた実行可能な推奨事項を生成すること。
• 今後の研究を支援するため、MIT面接データセットを公開すること。

提案手法

• プロフェッショナルなキャリアカウンセラーと行った69名のMIT学部生の面接動画138件を収集した。
• マルチモーダル特徴を抽出した：語彙的（単語数、トピックモデリング）、プロソディック的（ピッチ、イントネーション、一時停止）、顔貌的（笑顔、頭部の動き、顔面追跡ポイント）。
• Mechanical Turkの作業者（1動画あたり9名）が真値の評価を生成し、作業者の信頼性を考慮してEMアルゴリズムで集約した。
• 線形、2次、3次、ガウスカーネルを用いたサポートベクターレグレッション（SVR）モデルを訓練し、全体評価および特徴別評価を予測した。
• 回帰モデルから学習された特徴の重みを分析し、相対的な重要度を推定し、パフォーマンス改善の推奨事項を導出した。
• モデルのパフォーマンスを、ベースライン（AUC = 0.50）と比較して、相関係数（r）およびAUCスコアで評価した。

実験結果

リサーチクエスチョン

• RQ1 言語的および非言語的行動を自動的に定量化し、それが全体の面接評価に与える役割を評価できるか？
• RQ2 音声・映像記録から全体の面接評価を予測する計算フレームワークを構築できるか？
• RQ3 言語、プロソディー、顔貌が面接パフォーマンスを予測する上で、それぞれ相対的にどの程度重要か？
• RQ4 データ駆動型のインサイトに基づいて、興奮、親しみやすさ、関与度といった社会的特徴の改善に向けた自動推奨事項を生成できるか？

主な発見

• フレームワークは全体の面接評価を相関係数 r = 0.80 で予測し、ベースラインのAUC 0.50を著しく上回った。
• 関与度、興奮、親しみやすさといった重要な特徴は、相関係数 r ≥ 0.75 および AUC > 0.85 で予測された。
• システムは、よりなめらかに話すこと、フィラー語を減らすこと、'私'ではなく'私たち'を使うこと、より多様な語彙を使うこと、より多く笑顔を示すことがパフォーマンス向上の上位推奨事項であると特定した。
• 最初の質問で高いスコアを獲得した面接者ほど、全体的にも高い評価を得ており、第一印象の強い影響を示した。
• 線形カーネルSVRが非線形カーネルを上回ったことから、特徴間に複雑な相互作用よりも、比較的単純な線形関係が存在することが示唆された。
• 138件の面接セッションを含むMIT面接データセットは、マルチモーダル面接分析分野の今後の研究を支援する目的で公開された。