[논문 리뷰] Enhancing Personality Recognition by Comparing the Predictive Power of Traits, Facets, and Nuances

Amir Ansari, Jana Subirana외 4명|arXiv (Cornell University)|2026. 02. 05.

Personality Traits and Psychology인용 수 0

한 줄 요약

Nuance-level 성격 모델은 UDIVA v0.5에서 교차 모달 및 다이아드 인식 주의가 있는 트랜스포머를 사용하여 시청각 이인 데이터에서 facet 및 trait 모델보다 성능이 우수하다.

ABSTRACT

Personality is a complex, hierarchical construct typically assessed through item-level questionnaires aggregated into broad trait scores. Personality recognition models aim to infer personality traits from different sources of behavioral data. However, reliance on broad trait scores as ground truth, combined with limited training data, poses challenges for generalization, as similar trait scores can manifest through diverse, context dependent behaviors. In this work, we explore the predictive impact of the more granular hierarchical levels of the Big-Five Personality Model, facets and nuances, to enhance personality recognition from audiovisual interaction data. Using the UDIVA v0.5 dataset, we trained a transformer-based model including cross-modal (audiovisual) and cross-subject (dyad-aware) attention mechanisms. Results show that nuance-level models consistently outperform facet and trait-level models, reducing mean squared error by up to 74% across interaction scenarios.

연구 동기 및 목표

• 성격의 거친 특성 점수 너머로 맥락 의존적 행동을 포착하기 위한 계층적 모델링을 동기화한다.
• 다중 모달 데이터에서 Big Five의 facet와 nuances의 예측력과 전통적 trait 간의 차이를 조사한다.
• 다인 상호작용에서 더 세밀한 레이블이 자기보고 성격 추정에 도움이 되는지 평가한다.

제안 방법

• BD: Use UDIVA v0.5 multimodal dataset of 80 hours of dyadic interactions with self-reported BFI-2 traits, facets, and nuances.
• Apply per-task, level-specific self-reported personality regression via a spectral feature representation and a multimodal Transformer (MulT-based) with intra- and inter-modal attention.
• Aggregate lower-level predictions (facets/nuances) to trait level using BFI-2 scoring (means over relevant facets/items, with reverse coding as needed).
• Train 10-fold, subject-independent splits; optimize with Bayesian hyperparameter tuning and Adam optimizer; evaluate with MSE, MAE, PCC, and R2.

실험 결과

연구 질문

• RQ1 뉴앙스 수준 모델이 시청각 데이터로부터 자기보고 성격을 예측하는 데 있어 facet 및 trait 수준 모델보다 더 나은 예측 성능을 제공하는가?
• RQ2 다양한 Big Five 특성과 상호작용 작업에서 더 세밀한 레이블을 사용할 때 일관된 성능 향상이 나타나는가?
• RQ3 nuances/facets를 trait로 집계할 때 예측 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ4 교차 모달 및 다이아드 인식 주의가 성격 추론을 위한 미묘한 행동 신호를 활용하는 데 어떤 역할을 하는가?

주요 결과

• Nuance-level 모델은 작업 전반에 걸쳐 일관되게最佳 성능을 달성하여 baseline, trait, facet 대비 MSE를 줄이고 PCC 및 R2를 증가시키며 (최대 87.46% MSE 감소).
• Facet 모델이 trait 모델보다 우수한 성능을 보이며, trait에 비해 최대 31.75% MSE 개선을 보인다.
• Aggregation 후 trait 수준에서도 nuance가 facet 및 trait보다 우수한 성능을 보이며, 맥락에 민감한 성격 추정에 미세한 레이블의 가치가 강조된다.
• Nuance-level 모델은 Trait로 집계될 때 Negative Emotionality에서 특히 강한 이점을 보이며, 미묘한 행동이 이 특성을 더 잘 포착할 수 있음을 시사한다.
• 작업 전반에 걸쳐 계층적 수준 간 작업 수준 예측 가능성 차이가 최소로 나타나며, 스펙트럼 기반 접근법과 모델 구조가 성능을 안정화한다.