[論文レビュー] A Systematic Evaluation of Domain Adaptation in Facial Expression Recognition.

Yan Kong, Varsha Suresh+2 more|arXiv (Cornell University)|Jun 29, 2021

Emotion and Mood Recognition参考文献 42被引用数 5

ひとこと要約

本論文は、6つのデータセット（3つはラボベース、3つはイン・ザ・ワイルド）を用いて、最先端のCNNを用いた顔の感情認識におけるドメイン適応を体系的かつ包括的に評価している。ラウンドロビン形式の転移学習実験を通じ、転移性能はターゲットドメインによって一貫性がなく、微調整（fine-tuning）が最も優れた結果を示し、マルチソース学習が一般化性能を向上させることを明らかにした。これは、実世界の展開においてFERモデルの頑健性をより厳密に評価する必要があることを示唆している。

ABSTRACT

Facial Expression Recognition is a commercially important application, but one common limitation is that applications often require making predictions on out-of-sample distributions, where target images may have very different properties from the images that the model was trained on. How well, or badly, do these models do on unseen target domains? In this paper, we provide a systematic evaluation of domain adaptation in facial expression recognition. Using state-of-the-art transfer learning techniques and six commonly-used facial expression datasets (three collected in the lab and three in-the-wild), we conduct extensive round-robin experiments to examine the classification accuracies for a state-of-the-art CNN model. We also perform multi-source experiments where we examine a model's ability to transfer from multiple source datasets, including (i) within-setting (e.g., lab to lab), (ii) cross-setting (e.g., in-the-wild to lab), (iii) mixed-setting (e.g., lab and wild to lab) transfer learning experiments. We find sobering results that the accuracy of transfer learning is not high, and varies idiosyncratically with the target dataset, and to a lesser extent the source dataset. Generally, the best settings for transfer include fine-tuning the weights of a pre-trained model, and we find that training with more datasets, regardless of setting, improves transfer performance. We end with a discussion of the need for more -- and regular -- systematic investigations into the generalizability of FER models, especially for deployed applications.

研究の動機と目的

• 異なる分布外のデータセットにおける顔の感情認識（FER）モデルの一般化性能を評価すること。
• FERにおいて、ソースドメインからターゲットドメインに転移する際のドメインシフトが分類精度に与える影響を調査すること。
• 微調整やマルチソース学習を含む、さまざまなドメイン設定における転移学習戦略の有効性を評価すること。
• 特にラボ環境とイン・ザ・ワイルド設定を比較して、ソースおよびターゲットデータセットの特徴に基づく転移性能のパターンを同定すること。
• 実世界応用におけるFERモデルの一般化可能性をより体系的かつ定期的に行うべきであるという主張をすること。

提案手法

• ラボベースのデータセット3つとイン・ザ・ワイルドのデータセット3つを含む6つの顔の感情認識データセットを用い、ラウンドロビン形式の転移学習実験を実施する。
• あるデータセットで事前学習された最先端のCNNモデルの重みを、ターゲットデータセットで微調整することで、転移性能を評価する。
• ラボとイン・ザ・ワイルドのデータセットの組み合わせを用いてマルチソース転移学習を実施し、その後ターゲットドメインでテストする。
• 3つの転移設定（同じ設定内：例ええばラボからラボ、設定間をまたぐ：例ええばイン・ザ・ワイルドからラボ、ミックス設定：例ええばラボとイン・ザ・ワイルドからラボ）を評価する。
• 分類精度などの標準指標を用いて、異なるソース・ターゲットの組み合わせにおけるモデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 顔の感情認識における、さまざまなソース・ターゲットドメインの組み合わせにおける転移学習のパフォーマンスは、どのように変動するか？
• RQ2 設定をまたぐFERにおける、微調整と他の転移学習戦略の相対的な有効性は何か？
• RQ3 複数のソースデータセット（設定の種別を問わず）で学習することで、未知のターゲットドメインへの転移性能が向上するか？
• RQ4 ラボベースとイン・ザ・ワイルドのデータセットは、転送可能性およびモデルの一般化性能において、どのように比較できるか？
• RQ5 データセットの特徴やドメインの類似性に基づいて、転移性能を予測可能か、どの程度まで予測可能か？

主な発見

• 顔の感情認識における転移学習のパフォーマンスは一貫性がなく、ターゲットデータセットによって顕著に変動し、すべてのドメインで高い精度を示す普遍的な方法は存在しない。
• 事前学習済みCNNモデルの重みを微調整することで、すべてのテスト設定で最高の転移パフォーマンスが得られた。
• 複数のソースデータセットで学習することで、設定の種別を問わず転移パフォーマンスが向上し、データの多様性が一般化性能を高めることを示唆している。
• 設定をまたぐ転移（例：イン・ザ・ワイルドからラボ）は、同じ設定内での転移よりも一般的にパフォーマンスが低く、ドメインシフトが精度に著しい影響を及ぼしていることを示している。
• 未知のターゲットドメインにおけるFERモデルのパフォーマンスは個別的であり、ソースデータセットだけでは信頼性を持って予測できない。
• 本研究は、実世界の展開において信頼性を確保するため、FERモデルの一般化可能性をより体系的かつ定期的に評価する必要性が急務であることを強調している。