[논문 리뷰] Comparing approaches for mitigating intergroup variability in personality recognition

Guozhen An, Rivka Levitan|arXiv (Cornell University)|2018. 01. 31.

Personality Traits and Psychology참고 문헌 26인용 수 3

한 줄 요약

이 논문은 음성 기반 자동 성격 인식에서 집단 간 변동성을 줄이기 위해 두 가지 방법—동질화(성별 및 L1 그룹별 별도 모델 훈련)와 정규화(특성 수준 조정)—를 평가한다. 동질화 방법은 특히 성별과 L1 모두로 분할할 경우 정규화 방법보다 뚜렷이 뛰어나며, 성실성 및 열린 성격과 같은 성향에서 정확도를 최대 10%p 향상시킨다.

ABSTRACT

Personality have been found to predict many life outcomes, and there have been huge interests on automatic personality recognition from a speaker's utterance. Previously, we achieved accuracies between 37%-44% for three-way classification of high, medium or low for each of the Big Five personality traits (Openness to Experience, Conscientiousness, Extraversion, Agreeableness, Neuroticism). We show here that we can improve performance on this task by accounting for heterogeneity of gender and L1 in our data, which has English speech from female and male native speakers of Chinese and Standard American English (SAE). We experiment with personalizing models by L1 and gender and normalizing features by speaker, L1 group, and/or gender.

연구 동기 및 목표

• 성별 및 모국어(L1)의 차이로 인한 음성 기반 자동 성격 인식의 집단 간 변동성을 해결하기 위해.
• 데모그래픽 및 언어적 이질성으로 인한 성능 저하를 완화하기 위해 데이터 동질화 또는 특성 정규화 중 어느 것이 더 효과적인지 평가하기 위해.
• 성별 및 L1 기반으로 하위군별 별도 모델을 훈련하는 것이 통합 모델 대비 Big Five 성격 특성 분류 정확도를 향상시키는지 확인하기 위해.
• Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism의 다섯 가지 성격 특성에서 동질화와 정규화의 효과를 비교하기 위해.
• 관찰자 평가 예측보다 더 도전적인 자가 보고 성격 인식이 하위군 특화 모델링을 통해 향상될 수 있는지 평가하기 위해.

제안 방법

• 성별 및 L1 기반으로 훈련 데이터를 동질적인 하위집단으로 분할하여 각 하위군별 별도 모델을 훈련시었다 (예: 남성 SAE, 여성 MC).
• 화자, 성별, L1 수준의 정규화를 특성에 적용하여 발성 특성과 언어 사용의 변동성을 줄였다.
• 173명의 주제 쌍으로 구성된 코퍼스에서 자가 보고된 Big Five 성격 점수를 바탕으로 청각-프로소딕 및 언어적 특징을 사용해 모델을 훈련시켰다.
• 각 성향에 대해 인구 백분위수 기반의 삼중 분류(높음/중간/낮음)를 사용하였으며, 기준 정확도는 약 33%였다.
• 5개의 교차 검증을 사용하여 성능을 평가하였고, 통계적 유의성 검정을 통해 동질적 모델을 정규화 모델 및 기준 모델과 비교하였다.
• 정확도를 사용해 결과를 보고하였으며, 유의성 수준은 95% 신뢰구간 기준으로 평가하였다.

실험 결과

연구 질문

• RQ1 성별 및 L1 기반으로 훈련 데이터를 동질적인 하위집단으로 분할하는 것이 이질적 기준 대비 성격 인식 정확도를 향상시키는가?
• RQ2 화자, 성별 또는 L1 그룹 수준의 특성 정규화가 기준 모델 또는 동질적 모델 대비 성능 향상에 기여하는가?
• RQ3 어느 성격 특성이 동질화에서 가장 큰 이점을 얻는가? 반면, 이질적 모델이 더 나은 성능을 내는 특성이 있는가?
• RQ4 모델 당 훈련 데이터 수가 감소함에도 불구하고 동질화로 인한 성능 향상이 충분한가?
• RQ5 동시에 성별과 L1를 분할 기준으로 사용할 경우, 동질화의 성능 향상 효과가 유지되는가?

주요 결과

• 성별과 L1 기반으로 동질화한 결과, 대부분의 성격 특성에서 정규화 및 기준 모델을 뛰어넘었으며, 여성 SAE 화자에서 Openness의 정확도가 최대 10%p 향상되었다.
• 성실성에 대해 가장 높은 성능을 보인 동질적 모델은 44%의 정확도를 기록하여 기준 모델 대비 7%p 향상되었고, 모든 정규화 방법보다 뛰어났다.
• 화자 수준의 특성 정규화는 어떤 성향에 대해서도 기준 수준 이상의 성능 향상을 이끌지 못했으며, Openness와 Agreeableness에서는 기준 모델보다 성능이 떨어졌다.
• 성별 정규화 모델은 성실성에서만 기준 모델을 초월했고, L1 정규화 모델은 성실성에서만 약간의 성능 향상을 보였으며, 외향성 또는 신경질성에는 유의미한 이득이 없었다.
• 동질적 모델은 항상 정규화 모델보다 뛰어났으며, 모든 성향에서 Except Agreeableness를 제외하고 최고의 동질적 모델이 각 정규화 방법보다 최소 0.03 이상의 정확도를 확보했다.
• 모든 성향에서 동질적 모델의 평균 성능은 정규화 모델보다 높았고, Agreeableness와 Neuroticism를 제외한 모든 성향에서 동질적 모델의 평균 성능이 높았다. 다만, Openness에 대해 성별 정규화 모델은 평균 동질적 성능보다 略로 낮았다.