[論文レビュー] Towards affective computing that works for everyone

Tessa Verhoef, Eduard Fosch‐Villaronga|arXiv (Cornell University)|Sep 19, 2023

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

この論文は、感情認識データセットにおける多様性の欠如を批判し、人種、性別/ジェンダー、年齢、精神的健康状態の分野での代表不全が、アルゴリズムの公平性と正確性を損なうとしている。本稿は、包摂的なサンプリング戦略と標準化された人種的・文化的背景の文書化を提言し、感情認識システムがすべてのグループに対して公平に機能することを保証する。

ABSTRACT

Missing diversity, equity, and inclusion elements in affective computing datasets directly affect the accuracy and fairness of emotion recognition algorithms across different groups. A literature review reveals how affective computing systems may work differently for different groups due to, for instance, mental health conditions impacting facial expressions and speech or age-related changes in facial appearance and health. Our work analyzes existing affective computing datasets and highlights a disconcerting lack of diversity in current affective computing datasets regarding race, sex/gender, age, and (mental) health representation. By emphasizing the need for more inclusive sampling strategies and standardized documentation of demographic factors in datasets, this paper provides recommendations and calls for greater attention to inclusivity and consideration of societal consequences in affective computing research to promote ethical and accurate outcomes in this emerging field.

研究の動機と目的

• 感情認識データセットにおける代表不全、特に人種、性別/ジェンダー、年齢、精神的健康状態の分野を是正すること。
• 代表不全が、さまざまな文化的背景を持つグループにおける偏りや不正確な感情認識を引き起こす仕組みを強調すること。
• データセットにおける文化的背景要因の標準化された文書化を呼びかけることで、透明性と説明責任を高めること。
• 排除的システムの社会的影響を強調することで、感情認識研究における倫理的配慮を促進すること。
• すべてのユーザーが公平に恩恵を受ける感情認識技術を実現するため、包摂的なサンプリング戦略を提言すること。

提案手法

• 精神的健康状態や年齢が顔の表情や発話に与える影響を特定するため、既存の文献をレビューする。
• 人種、性別/ジェンダー、年齢、および（精神的）健康状態の面で、既存の感情認識データセットにどのような代表不全があるかを分析する。
• 文化的背景のメタデータに関する現在のデータセット文書化慣行を評価し、一貫性の欠如や欠落を特定する。
• 多様で代表的な参加者を含むデータセット収集のためのガイドラインを提言する。
• 公平性と再現可能性を支援するため、文化的背景変数の標準化された文書化を推奨する。
• マイノリティグループに与える社会的影響を考慮した倫理的フレームワークの構築を呼びかける。

実験結果

リサーチクエスチョン

• RQ1 感情認識データセットにおける代表不全、特に人種、性別/ジェンダー、年齢、精神的健康状態の分野での不足が、感情認識アルゴリズムの公平性と正確性にどのように影響を及えるか。
• RQ2 精神的健康状態や年齢に伴う顔の表情の変化が、感情の表現にどのように影響を及えるか。また、これらの要因は現在のデータセットでどのように扱われているか。
• RQ3 既存の感情認識データセットにおいて、人種、性別/ジェンダー、年齢といった文化的背景変数が、どの程度体系的に文書化されているか。
• RQ4 多様な集団にわたる公平なパフォーマンスを実現するため、感情認識データセットの包摂性を高める戦略は何か。
• RQ5 感情認識研究において、代表不全グループへの被害を防ぐために統合すべき倫理的配慮は何か。

主な発見

• 既存の感情認識データセットは、人種的・文化的背景、性別/ジェンダー、年齢、精神的健康状態の多様なグループの代表不全が顕著に見られる。
• 文化的背景の標準化された文書化が欠如しているため、アルゴリズムの公平性やバイアスの評価が困難になっている。
• 精神的健康状態や年齢に伴う顔の外見的変化は、感情表現を変える可能性があるが、これらの要因はデータセットでほとんど考慮されていない。
• 訓練データにバイアスが存在するため、現在の感情認識システムは、代表不全グループに対して性能が低く、あるいは不公平に動作する可能性がある。
• 包摂的なサンプリング戦略が欠如しているため、感情認識アプリケーションの一般化可能性と倫理的妥当性が制限されている。
• 公平な結果を実現するため、標準化され、透明性があり、多様性に配慮したデータセットのキュレーション手法の導入が急務である。