[論文レビュー] Learning to Amend Facial Expression Representation via De-albino and Affinity

Jiawei Shi, Songhao Zhu+1 more|arXiv (Cornell University)|Mar 18, 2021

Emotion and Mood Recognition参考文献 39被引用数 62

ひとこと要約

Amend Representation Module (ARM) を導入し、CNN のプーリングを置き換え、パディング侵食（アルビノ特徴）を解決し、表情間のアフィニティを活用して FER 精度を向上させる；RAF-DB、AffectNet、SFEW で最先端の結果を達成。

ABSTRACT

Facial Expression Recognition (FER) is a classification task that points to face variants. Hence, there are certain affinity features between facial expressions, receiving little attention in the FER literature. Convolution padding, despite helping capture the edge information, causes erosion of the feature map simultaneously. After multi-layer filling convolution, the output feature map named albino feature definitely weakens the representation of the expression. To tackle these challenges, we propose a novel architecture named Amending Representation Module (ARM). ARM is a substitute for the pooling layer. Theoretically, it can be embedded in the back end of any network to deal with the Padding Erosion. ARM efficiently enhances facial expression representation from two different directions: 1) reducing the weight of eroded features to offset the side effect of padding, and 2) decomposing facial features to simplify representation learning. Experiments on public benchmarks prove that our ARM boosts the performance of FER remarkably. The validation accuracies are respectively 90.42% on RAF-DB, 65.2% on Affect-Net, and 58.71% on SFEW, exceeding current state-of-the-art methods. Our implementation and trained models are available at https://github.com/JiaweiShiCV/Amend-Representation-Module.

研究の動機と目的

• CNN に基づく FER でパディングによるアルビノ特徴の侵食を特定し、緩和する。
• 表情に関連する情報を保持するためのプーリングの代替として ARM を提案する。
• 表情間のアフィニティを活用して表現学習を簡略化する。
• 標準的な FER データセットでの向上を実証し、構成要素を検証するアブレーションを提供する。

提案手法

• エッジで侵食された特徴を抑制するためにプーリングを De-albino (DA) ブロックに置換する。
• パディングなしに特徴マップを再配置する Feature Arrangement (FA) ブロックを使用する。
• EMA に基づくアフィニティを介して一般的な表現成分と個別の表現成分をモデル化する Sharing Affinity (SA) ブロックを組み込む。
• ResNet-18 バックボーンに ARM を組み込み、Adam 最適化手法と標準の FER プロトコルで学習する。
• 微調整時に AffectNet データのバランスを取るために最小限のランダム再サンプリング（MRR）を任意で適用する。

実験結果

リサーチクエスチョン

• RQ1 パディングによって誘発されるアルビノ特徴が FER 表現を劣化させ得るか、パディングなしで緩和できるか？
• RQ2 特徴マップを再配置・再重み付けするモジュールは、野外（実環境）データセット全体で FER の性能を向上させるか？
• RQ3 表現間のアフィニティベースの表現は FER タスクで測定可能な向上をもたらすか？

主な発見

データセット	方法	精度
RAF-DB	ResNet-18 (ARM)	90.42%
AffectNet (7 cls)	ResNet-18 (ARM)	65.2%
SFEW	ResNet-18 (ARM)	58.71%

• ARM は ResNet-18 の性能を RAF-DB で 86.4 から 90.42 WA に向上させた（最先端）。
• ARM は AffectNet（7 クラス）で 65.2%、SFEW（7 クラス/8 クラスの派生参照）で 58.71% の精度を達成。
• アブレーションで DA および SA ブロックが明確な向上を提供し、FA は DA を補助してさらなる改善をもたらすことを示した。
• ARM は評価データセットでいくつかのベースラインおよび最先端 FER 手法を上回る。