[論文レビュー] Heteroscedastic Conditional Ordinal Random Fields for Pain Intensity Estimation from Facial Images

Ognjen Rudovic, Maja Pantić+1 more|arXiv (Cornell University)|Jan 22, 2013

Face and Expression Recognition参考文献 13被引用数 4

ひとこと要約

本稿では、顔面画像からの痛みの強度推定を向上させるために、動的順位を組み込んだ非定常分散条件付き順序ランダムフィールドフレームワークを提案する。出力分散の非定常性をモデル化し、動的順位を用いて時間的順序制約を強制することで、特に組内相関係数（ICC）指標において最先端のモデルを上回る優れた性能を達成した。

ABSTRACT

We propose a novel method for automatic pain intensity estimation from facial images based on the framework of kernel Conditional Ordinal Random Fields (KCORF). We extend this framework to account for heteroscedasticity on the output labels(i.e., pain intensity scores) and introduce a novel dynamic features, dynamic ranks, that impose temporal ordinal constraints on the static ranks (i.e., intensity scores). Our experimental results show that the proposed approach outperforms state-of-the art methods for sequence classification with ordinal data and other ordinal regression models. The approach performs significantly better than other models in terms of Intra-Class Correlation measure, which is the most accepted evaluation measure in the tasks of facial behaviour intensity estimation.

研究の動機と目的

• 顔面画像からの正確な痛みの強度推定を機械学習を用いて実現すること。
• ラベルの分散がサンプルごとに異なるという、順序的な痛みの強度スコアにおける非定常分散をモデル化すること。
• 静的顔面強度予測に対して、動的順位を用いて時間的順序的一致性を強制すること。
• 顔面行動分析における順序的シーケンス分類タスクの性能を向上させること。
• 痛みの強度評価におけるゴールドスタンダードであるICC指標で最先端の結果を達成すること。

提案手法

• 痛みの強度スコアにおける非定常分散を明示的にモデル化するように、カーネル条件付き順序ランダムフィールド（KCORF）フレームワークを拡張する。
• 静的強度予測に時間的順序制約を課すための新しいメカニズムとして、動的順位を導入する。
• 逐次的文脈に基づいて適応する動的順位関数を用い、時間軸にわたる順序関係を保持する。
• 顔面特徴と痛みレベルの間の複雑な非線形関係をモデル化するためにカーネル法を適用する。
• ラベルの不確実性と順序構造の両方を考慮した尤度に基づく目的関数を最適化する。
• 時間的ダイナミクスを順序回帰フレームワークに統合し、一貫性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 痛みの強度スコアにおける非定常分散のモデル化は、顔面画像分析における推定精度の向上に寄与するか？
• RQ2 動的順位メカニズムは、静的予測における時間的順序的一致性をどの程度効果的に強制できるか？
• RQ3 提案手法は、既存の順序回帰およびシーケンス分類モデルを上回る性能を示すか？
• RQ4 最先端のアプローチと比較して、ICC指標におけるモデルの向上度はどの程度か？
• RQ5 本フレームワークは、順序出力を持つ実世界の顔面行動強度推定タスクに一般化可能か？

主な発見

• 提案手法は、他の競合モデルと比較して顕著に高い組内相関係数（ICC）を達成しており、人間によるアノテーションとの一致度が優れていることを示している。
• 順序データを用いたシーケンス分類タスクにおいて、最先端の手法を上回る性能を示しており、予測の正確性が向上している。
• 動的順位の導入により、時間的整合性が向上し、シーケンス全体にわたる順序制約の違反が減少した。
• 非定常分散のモデル化により、不確実性のキャリブレーションが改善され、分散が変動する痛みスコア分布に対しても性能が向上した。
• 多様な顔面画像シーケンスにおいて、痛みの強度推定タスクでロバストで一般化可能な性能を示した。
• ICC指標において、顔面行動強度推定分野で最も広く受け入れられている評価指標として、新たなベンチマークを確立した。