[論文レビュー] The Use of AI for Thermal Emotion Recognition: A Review of Problems and Limitations in Standard Design and Data

Catherine Ordun, Edward Raff+1 more|arXiv (Cornell University)|Sep 22, 2020

Infrared Thermography in Medicine被引用数 10

ひとこと要約

この論文は、AIを用いた熱画像顔面感情認識（FER）における課題と限界をレビューし、RGBと比較して準匿名的でバイアスに強く、感情検出が可能な熱画像の可能性を強調している。しかし、現在のデータセットは標準化が不十分で、多様性に欠け、文書化も不十分な傾向にある。著者らは、倫理的で高精度なAI開発を可能にするために、データの集中管理、複数データセットの統合、厳密なプライバシー検証を提言する。

ABSTRACT

With the increased attention on thermal imagery for Covid-19 screening, the public sector may believe there are new opportunities to exploit thermal as a modality for computer vision and AI. Thermal physiology research has been ongoing since the late nineties. This research lies at the intersections of medicine, psychology, machine learning, optics, and affective computing. We will review the known factors of thermal vs. RGB imaging for facial emotion recognition. But we also propose that thermal imagery may provide a semi-anonymous modality for computer vision, over RGB, which has been plagued by misuse in facial recognition. However, the transition to adopting thermal imagery as a source for any human-centered AI task is not easy and relies on the availability of high fidelity data sources across multiple demographics and thorough validation. This paper takes the reader on a short review of machine learning in thermal FER and the limitations of collecting and developing thermal FER data for AI training. Our motivation is to provide an introductory overview into recent advances for thermal FER and stimulate conversation about the limitations in current datasets.

研究の動機と目的

• AI駆動の熱画像顔面感情認識（FER）の現状を検討し、主な技術的・倫理的限界を特定すること。
• 信頼性あるAIのトレーニングと検証を妨げる、標準化されておらず、高品質で多様性に欠けた熱FERデータセットの欠如に対処すること。
• 熱画像がRGBベースのFERシステムと比較して、意味的なプライバシー保護を提供し、人種的・文化的バイアスを低減できるかどうかを評価すること。
• データセットの集中化、複数データセットの統合、プライバシー検証といった具体的なステップを提言し、倫理的で強固な熱FER研究を前進させること。
• 特に公衆衛生や監視の文脈で急速に普及している背景を踏まえ、バイアスと悪用のリスクについての批判的議論を喚起すること。

提案手法

• 熱FERに関する既存の文献を包括的にレビューし、データセット、実験設計、AI手法に焦点を当てる。
• 文献から抽出した14の熱FERデータセットを分析し、データ収集プロトコル、ラベル付けの実践、人口統計的表現における一貫性の欠如を特定する。
• 長波長赤外線（LWIR）センサ（8–14 μm）が感情状態に関連する皮膚下の温度変化を捉える役割を評価し、FLIR SC660 や Raytheon ExplorIR などのカメラからのデータを用いる。
• 再現性を向上させるために、センサ固有の情報、感情タイプ、状況（自然発現／ポーズ）に基づくメタデータラベル付けを含む、データセットキュレーションのフレームワークを提言する。
• Gebru et al., 2018 が提唱したような標準化された文書テンプレートの使用を提唱し、熱FER研究における透明性と再現性を向上させること。
• IRB承認を受けた研究を呼びかけ、熱画像が年齢、性別、人種、民族を効果的に隠蔽できるかどうかを定量的に検証することで、真のプライバシー利点を評価すること。

実験結果

リサーチクエスチョン

• RQ1 熱画像は、RGBベースの顔認識と比較して、どの程度準匿名的な感情認識を提供できるか？
• RQ2 信頼性あるAIモデルの開発を妨げる主な技術的・データ関連の制限要因は何か？
• RQ3 既存の熱FERデータセットは、人口統計的要因、実験条件、ラベル付けの実践において、どの程度多様性と代表性を有しているか？
• RQ4 熱FERデータは、人種や性別といった感受性の高い人口統計的属性を効果的にマスクできるのか？その根拠は何か？
• RQ5 研究者が熱FER研究におけるデータセットの品質、相互運用性、倫理基準を向上させるために、具体的に何をすべきか？

主な発見

• 熱画像は感情状態に関連する皮膚下の温度変化を捉え、RGBと比較して非侵襲的で、生物学的により関連性の高いモダリティを提供する可能性を有する。
• その可能性にもかかわらず、標準化され、公開済みの熱FERデータセットは少数にとどまり、多くは人口統計的多様性と実験的一貫性に欠けている。
• 多くの熱FERデータセットは特許権を有し、非公開、あるいは一貫性の欠如したプロトコルで収集されており、再現性やベンチマークの実施が困難である。
• 熱画像が本人特定や感受性の高い人口統計的属性（人種、性別）を効果的に隠蔽できるかどうかの実証的検証が不足している。
• 熱FERと顔認識（FR）の統合は、熱データがRGBほど識別されにくいとしても、生体特徴パターンを用いた熱FRの可能性があるため、プライバシーを損なうリスクを伴う。
• 研究者は、標準化された文書作成、データセットの集中管理、IRB承認を受けた研究の実施を通じて、プライバシーとバイアス低減の主張を検証した上で、熱FERシステムの導入を推進すべきである。