[論文レビュー] Regularizing Face Verification Nets For Pain Intensity Regression

Xiang Xiang, Feng Wang+7 more|arXiv (Cornell University)|Jan 1, 2017

Emotion and Mood Recognition参考文献 13被引用数 15

ひとこと要約

本稿では、滑らかな ℓ1 損失とセンター損失正則化を用いて、事前学習済み顔認識ネットワークを微調整することで、痛みの強度を回帰する正則化された深層回帰モデルを提案する。大規模な顔認識データからの豊富な特徴を活用し、重み付き指標を用いてラベルの不均衡を是正することで、UNBC-McMaster 肩関節痛データセットにおいて、MAE、MSE、PCC すべての指標で先行研究を上回る最先端の性能を達成した。重み付き評価指標により、臨床的データにおける痛みの自然な分布をよりよく反映している。

ABSTRACT

Limited labeled data are available for the research of estimating facial expression intensities. For instance, the ability to train deep networks for automated pain assessment is limited by small datasets with labels of patient-reported pain intensities. Fortunately, fine-tuning from a data-extensive pre-trained domain, such as face verification, can alleviate this problem. In this paper, we propose a network that fine-tunes a state-of-the-art face verification network using a regularized regression loss and additional data with expression labels. In this way, the expression intensity regression task can benefit from the rich feature representations trained on a huge amount of data for face verification. The proposed regularized deep regressor is applied to estimate the pain expression intensity and verified on the widely-used UNBC-McMaster Shoulder-Pain dataset, achieving the state-of-the-art performance. A weighted evaluation metric is also proposed to address the imbalance issue of different pain intensities.

研究の動機と目的

• 顔の表情分析における痛みの強度回帰のためのラベル付きデータが限られているという課題に対処する。
• 豊富な特徴表現を有する事前学習済み顔認識ネットワークを活用し、リソースが少ない痛みの強度回帰に特徴を転移する。
• 多くのフレームが無痛または軽度の痛みを示すなど、痛みの強度データにおけるラベルの不均衡を軽減する。
• 損失の正則化を通じて、離散的で意味のある強度予測を促進することで、回帰性能を向上させる。
• 臨床データにおける痛み強度の自然な分布をよりよく反映する重み付き評価指標を提案する。

提案手法

• UNBC-McMaster 肩関節痛データセット上で、CASIA-WebFace から得た最先端の顔認識ネットワークを、連続的回帰用の滑らかな ℓ1 損失を用いて微調整する。
• 予測された痛みの強度が離散値（0〜5）の周囲に集まるよう促進するため、センター損失を正則化子として導入する。
• 小さなデータセットにおける過学習を防ぐために、ボトルネックの全結合層にドロップアウト正則化を適用する。
• 出力予測値を [0,5] の痛み強度範囲に制限するために、シグモイド活性化関数を用いる。
• ラベルの不均衡を是正するため、訓練中に均等なクラスサンプリングを実装する。
• 予測されにくい痛みレベルに高い重要度を割り当てる重み付き評価指標（wMAE, wMSE）を提案する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み顔認識ネットワークの微調整が、リソースが少ない痛みの強度回帰の性能向上に寄与するか？
• RQ2 センター損失正則化は、予測された痛みの強度が離散値の周囲にクラスタリングするのをどのように効果的に促進するか？
• RQ3 標準的な指標と比較して、重み付き評価指標は臨床的妥当性をよりよく反映しているか？
• RQ4 滑らかな ℓ1 損失とセンター損失を組み合わせることで、ベースライン損失と比較して回帰性能がどの程度向上するか？
• RQ5 訓練中に均等なクラスサンプリングを適用することで、不均衡な痛み強度分布の影響を軽減できるか？

主な発見

• 滑らかな ℓ1 損失と ℓ1 センター損失、均等クラスサンプリングを組み合わせた本手法は、MAE が 0.991、重み付き MSE が 1.720 となり、すべてのベースラインを上回った。
• 最良の設定（滑らかな ℓ1 + ℓ1 センター損失 + サンプリング）は、単純なゼロ予測ベースラインと比較して wMAE を 25% 減少させた。
• ピアソン相関係数（PCC）は 0.651 を達成し、真の痛み曲線との時間的トレンドの一致が強いことを示した。
• 重み付き評価指標により、OSVR などの先行手法が標準指標では単純なゼロ予測ベースラインを下回っていることが判明し、より良い評価の必要性が浮き彫りになった。
• センター損失正則化は、特に離散的痛みレベル周辺の予測分散を著しく低減させ、性能向上に寄与した。
• 滑らかな ℓ1 損失とセンター損失の組み合わせは、MSE や ℓ1 損失単体よりも、より安定的かつ正確な回帰出力を得られた。