[論文レビュー] Comparing approaches for mitigating intergroup variability in personality recognition

Guozhen An, Rivka Levitan|arXiv (Cornell University)|Jan 31, 2018

Personality Traits and Psychology参考文献 26被引用数 3

ひとこと要約

本稿では、音声からの自動的人格認識におけるグループ間ばらつきを低減するための2つの手法——均質化（性別およびL1ごとに別々のモデルを訓練）と正規化（特徴レベルの補正）——を評価する。均質化は正規化を著しく上回り、特に性別およびL1の両方で分割する場合、勤勉性や開放性などの特性において最大10パーセンテージポイントの精度向上を達成する。

ABSTRACT

Personality have been found to predict many life outcomes, and there have been huge interests on automatic personality recognition from a speaker's utterance. Previously, we achieved accuracies between 37%-44% for three-way classification of high, medium or low for each of the Big Five personality traits (Openness to Experience, Conscientiousness, Extraversion, Agreeableness, Neuroticism). We show here that we can improve performance on this task by accounting for heterogeneity of gender and L1 in our data, which has English speech from female and male native speakers of Chinese and Standard American English (SAE). We experiment with personalizing models by L1 and gender and normalizing features by speaker, L1 group, and/or gender.

研究の動機と目的

• 音声からの自動的人格認識におけるグループ間ばらつき、特に性別および第一言語（L1）の違いに起因するものに対処すること。
• 人種的・言語的多様性に起因する性能低下を緩和するために、データの均質化と特徴の正規化のどちらがより効果的かを評価すること。
• 性別およびL1ごとに別々のモデルを訓練することで、統一モデルに比べてBig Five人間関係特性の分類精度が向上するかどうかを検証すること。
• 開放性、勤勉性、外向性、協同性、神経症傾向という5つの性格特性において、均質化と正規化の有効性を比較すること。
• 観察者による予測よりも難しいとされる自己報告型の人間関係認識が、サブグループ特化型モデリングによって改善できるかどうかを評価すること。

提案手法

• 性別およびL1（例：男性SAE、女性MC）に基づいて訓練データを均質なサブセットに分割し、各サブグループに対して別々のモデルを訓練する。
• 話者、性別、L1レベルでの正規化を特徴に適用し、発声特性および言語使用のばらつきを低減する。
• 173組の被験者からなるコーパスにおける自己報告型Big Five人間関係スコアを用い、音声的・プロソディック的および言語的特徴に基づいてモデルを訓練する。
• 各特性について、集団の百分位数に基づく三値分類（高/中/低）を実施し、ベースライン精度は約33%であった。
• 5分割交差検証を用い、統計的有意性検定を用いて均質モデルを正規化モデルおよびベースラインモデルと比較して性能を評価する。
• 精度を指標として報告し、有意性は95%信頼区間で評価した。

実験結果

リサーチクエスチョン

• RQ1 性別およびL1に基づいて訓練データを均質なサブグループに分割することで、均質なベースラインに比べて人間関係認識の精度が向上するか？
• RQ2 話者、性別、L1グループ単位での特徴の正規化は、ベースラインまたは均質モデルに比べて性能を向上させるか？
• RQ3 どの性格特性が均質化によって最も利益を受けるか？また、均質モデルが性能を発揮しない特性は存在するか？
• RQ4 均質化による性能向上が、各モデルの訓練データ量の減少を補って十分に上回るか？
• RQ5 同時に性別およびL1を分割基準として用いた場合、均質化による利点は維持されるか？

主な発見

• 性別およびL1の両方で均質化を行うことで、ほとんどの性格特性において正規化およびベースラインモデルを著しく上回り、女性SAE話者の開放性では最大10パーセンテージポイントの向上を達成した。
• 勤勉性の最良性能を示した均質モデルは44%の精度を達成し、ベースラインより7パーセンテージポイント向上し、すべての正規化手法を上回った。
• 話者レベル特徴を用いた正規化は、どの特性に対してもランダムより高い性能を達成できず、実際には開放性および協同性においてベースラインを下回った。
• 性別正規化モデルは勤勉性においてのみベースラインを上回ったが、L1正規化モデルは勤勉性に対してわずかな向上を示したにとどまり、外向性および神経症傾向に対しては利益がなかった。
• 均質モデルは一貫して正規化モデルを上回り、協同性を除くすべての特性において、最良の均質モデルが各正規化手法を0.03以上の精度で上回った。
• 協同性および神経症傾向を除き、すべての特性において均質モデルの平均性能が正規化モデルを上回った。ただし、開放性に関しては性別正規化モデルが平均均質性能をわずかに下回った。