[論文レビュー] Being the center of attention: A Person-Context CNN framework for Personality Recognition

Dario Dotti, Mirela Popa+1 more|arXiv (Cornell University)|Oct 15, 2019

Personality Traits and Psychology被引用数 4

ひとこと要約

本論文は、空間的・時間的運動およびプロキミクス記述子を用いて、個々の行動と文脈的状況のダイナミクスを共同でモデル化する、革新的なペルソナ・コンテキストCNNフレームワークを提案する。ペルソナレベル、グループレベル、プロキミクス特徴を共有埋め込み空間に統合することで、2つの公開データセットにおいて最先端の手法を上回る性能を発揮し、クラス活性化マップを通じてペルソナ関連の行動パターンを明らかにする。

ABSTRACT

This paper proposes a novel study on personality recognition using video data from different scenarios. Our goal is to jointly model nonverbal behavioral cues with contextual information for a robust, multi-scenario, personality recognition system. Therefore, we build a novel multi-stream Convolutional Neural Network framework (CNN), which considers multiple sources of information. From a given scenario, we extract spatio-temporal motion descriptors from every individual in the scene, spatio-temporal motion descriptors encoding social group dynamics, and proxemics descriptors to encode the interaction with the surrounding context. All the proposed descriptors are mapped to the same feature space facilitating the overall learning effort. Experiments on two public datasets demonstrate the effectiveness of jointly modeling the mutual Person-Context information, outperforming the state-of-the art-results for personality recognition in two different scenarios. Lastly, we present CNN class activation maps for each personality trait, shedding light on behavioral patterns linked with personality attributes.

研究の動機と目的

• 個々の行動と文脈的行動の両方を捉える、一般化可能で多様なシナリオに適応可能な人格認識システムの開発。
• 自動的人格評価において、多様な現実世界のシナリオ間で一貫性のない行動パターンを解決する挑戦への対処。
• 非言語的行動的兆候とプロキミクス（空間的相互作用）および社会的グループダイナミクスの情報を統合し、人格推論を向上させること。
• ビデオ解析を通じて被動的かつ侵襲的でない人格認識を実現し、スマートシステムにおけるユーザーエクスペリエンスを向上させること。
• クラス活性化マップを用いて、学習されたCNN特徴と心理的人格特性を結びつける解釈可能性の提供。

提案手法

• フレームワークは、3つの入力ストリーム（個々の運動記述子 D_pers、社会的グループ運動記述子 D_group、プロキミクス記述子 D_prox）を備えたマルチストリームCNNアーキテクチャを採用。
• 空間的・時間的運動記述子は、3次元CNNを用いて動画クリップから抽出され、個別およびグループレベルの動的行動を捉える。
• プロキミクス記述子は、人間同士の距離および方向性に基づいて計算され、個々の人が物理的・社会的環境とどのように関係するかをモデル化する。
• すべての記述子は共有埋め込み層を通じて共有特徴空間にマッピングされ、ペルソナ・コンテキスト相互作用の共同学習が可能になる。
• 最終分類は、融合特徴に対してソフトマックス層を用いて実施され、各記述子タイプが人格特性に与える寄与度はクラス活性化マップを用いて解釈される。
• モデルは、交差エントロピー損失と標準的なデータオーグメンテーションを用いて、2つの公開データセット（Salsa および MPII-IAD）上でエンド・ツー・エンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 ペルソナレベルの行動と文脈的状況のダイナミクスを共同でモデリングすることで、多様なシナリオにおける人格認識性能がどのように向上するか？
• RQ2 環境との空間的相互作用を表すプロキミクス特徴は、非社会的状況でさえ人格認識にどの程度寄与するか？
• RQ3 クラス活性化マップによって明らかにされた行動パターンの中で、特定のBig-Five人格特性に対して最も予測的であるものは何か？
• RQ4 学習された表現は、外向的個体が社会的相互作用を支配する傾向を示す心理的理論と整合しているか？
• RQ5 タスク固有の微調整なしに、異なる現実世界の設定に一般化可能か？

主な発見

• 提案されたペルソナ・コンテキストCNNフレームワークは、SalsaおよびMPII-IADの両データセットで最先端の性能を達成し、多様なシナリオにおける人格認識の精度が顕著に向上した。
• ペルソナとコンテキスト特徴の共同モデリングにより顕著な性能向上が確認され、人格推論における文脈情報の重要性が裏付けられた。
• クラス活性化マップにより、高い外向性はペルソナレベル特徴での強い活性化とコンテキスト特徴での弱い活性化と関連していることが明らかになり、社会的状況での支配的行動を示唆した。
• 高い協調性と勤勉性は、ペルソナおよびコンテキストストリームの両方でバランスの取れた活性化と関連しており、協働的かつ関与的な社会的行動を反映している。
• 低リスク性と経験への開放性は、両ストリームで中程度から高い活性化と関連しており、これらの特徴を持つ個体がより社会的に関与しており、反応性が低い傾向にあることを示唆した。
• モデルは非社会的状況においてもプロキミクス特徴を効果的に符号化できており、物体との空間的相互作用が人格を反映することが示され、人間化に基づく解釈を支持した。