[論文レビュー] Towards Better Uncertainty: Iterative Training of Efficient Networks for Multitask Emotion Recognition.

Didan Deng, Liang Wu+1 more|arXiv (Cornell University)|Jul 21, 2021

Emotion and Mood Recognition被引用数 5

ひとこと要約

本稿では、マルチタスク感情認識における不確実性推定を向上させるため、反復的で多世代にわたる自己 distillation フレームワークを提案する。深層アンサンブルを用いて不確実性を埋め込んだソフトラベルを生成することで、ドメイン内不確実性を推定し、ドメイン外のサンプルを検出できる学生モデルを訓練する。この手法は、温度スケーリングやモンテカルロドロップアウトを上回る信頼性を示す。

ABSTRACT

When recognizing emotions, subtle nuances of emotion displays often cause ambiguity or uncertainty in emotion perception. Unfortunately, the ambiguity or uncertainty cannot be reflected in hard emotion labels. Emotion predictions with uncertainty can be useful for risk controlling, but they are relatively scarce in current deep models for emotion recognition. To address this issue, we propose to apply the multi-generational self-distillation algorithm to emotion recognition task towards better uncertainty estimation performance. We firstly use deep ensembles to capture uncertainty, as an approximation to Bayesian methods. Secondly, the deep ensemble provides soft labels to its student models, while the student models can learn from the uncertainty embedded in those soft labels. Thirdly, we iteratively train deep ensembles to further improve the performance of emotion recognition and uncertainty estimation. In the end, our algorithm results in a single student model that can estimate in-domain uncertainty and a student ensemble that can detect out-of-domain samples. We trained our Efficient Multitask Emotion Networks (EMENet) on the Aff-wild2 dataset, and conducted extensive experiments on emotion recognition and uncertainty estimation. Our algorithm gives more reliable uncertainty estimates than Temperature Scaling and Monte Carol Dropout.

研究の動機と目的

• 感情認識のための深層学習モデルにおける不確実性推定の欠如に取り組む。ハードラベルでは微細な感情の曖昧さを捉えきれないため。
• 実世界の応用におけるリスク管理を高めるために、感情認識システムの不確実性推定の信頼性を向上させる。
• ドメイン内不確実性を推定でき、かつドメイン外のサンプルを検出できる単一の学生モデルを開発すること。

提案手法

• 深層アンサンブルをベイジアン近似として用い、感情認識の予測における不確実性を捉える。
• 深層アンサンブルから得たソフトラベルを、学生モデルの知識蒸留のターゲットとして利用する。
• 不確実性に配慮したソフトラベルを用いて学生モデルを訓練し、頑健な不確実性推定を学習させる。
• 不確実性推定を精緻化し、学生モデルの性能を向上させるために、反復的に深層アンサンブルを再訓練する。
• 多世代にわたる自己 distillation を適用し、各世代の学生モデルが次の世代の不確実性推定を改善する。
• 最終的に、最適化された単一の学生モデルと、ドメイン外データの分布シフトを検出するための学生アンサンブルを生成する。

実験結果

リサーチクエスチョン

• RQ1 深層アンサンブルは、感情認識タスクにおいてベイジアン不確実性を効果的に近似できるか？
• RQ2 アンサンブル予測からの不確実性を、学生モデルにどのように転送することで不確実性推定を改善できるか？
• RQ3 反復的自己 distillation は、感情認識の精度と不確実性推定の信頼性の両方を向上させられるか？
• RQ4 提案手法は、温度スケーリング やモンテカルロドロップアウトといった確立された不確実性キャリブレーション手法を上回るか？
• RQ5 最終的な学生モデルはドメイン内不確実性を信頼性高く推定できるか？ 一方、アンサンブルはドメイン外のサンプルを検出できるか？

主な発見

• 提案手法は、ドメイン内およびドメイン外検出タスクの両方において、温度スケーリング やモンテカルロドロップアウトを上回る信頼性の高い不確実性推定を実現した。
• 反復的なトレーニングプロセスにより、複数世代にわたる学生モデルの不確実性推定性能が向上した。
• 最終的な単一の学生モデルは、不確実性キャリブレーション指標で測定したところ、ドメイン内データに対して優れた不確実性推定を達成した。
• 学生アンサンブルはドメイン外のサンプルを効果的に検出でき、トレーニング分布を超えた一般化性能が向上した。
• 本手法は、不確実性の定量化を著しく向上させる一方で、感情認識の精度を高い水準で維持した。