[論文レビュー] Coding Facial Expressions with Gabor Wavelets (IVC Special Issue)

Michael J. Lyons, Miyuki Kamachi+1 more|arXiv (Cornell University)|Sep 13, 2020

Face and Expression Recognition参考文献 19被引用数 41

ひとこと要約

この論文は、顔に合わせて整列されたマルチスケール・マルチオリエンテーションのガボールウェーブレット・バンクを用いて表情をコード化し、この表現が表情の人間のセマンティック評価と相関することを示しており、カテゴリ表現と次元表現の橋渡しを示唆している。

ABSTRACT

We present a method for extracting information about facial expressions from digital images. The method codes facial expression images using a multi-orientation, multi-resolution set of Gabor filters that are topographically ordered and approximately aligned with the face. A similarity space derived from this code is compared with one derived from semantic ratings of the images by human observers. Interestingly the low-dimensional structure of the image-derived similarity space shares organizational features with the circumplex model of affect, suggesting a bridge between categorical and dimensional representations of facial expression. Our results also indicate that it would be possible to construct a facial expression classifier based on a topographically-linked multi-orientation, multi-resolution Gabor coding of the facial images at the input stage. The significant degree of psychological plausibility exhibited by the proposed code may also be useful in the design of human-computer interfaces. <strong>n.b.</strong> <strong>Facial images in this article are subject to specific terms of use and may not be reused without permission, regardless of the license applied to the document as a whole.</strong>

研究の動機と目的

• 人間とコンピュータの相互作用のための自動的な表情処理を動機づける。
• 顔画像の地形対応（トポグラフィックに整列した）ガボールウェーブレット符号化スキームを提案する。
• 画像ベースの類似度と人間のセマンティック評価を比較してガボール符号の忠実性を評価する。

提案手法

• 各256x256画像をマルチ解像度・マルチオリエンテーションのガボールフィルターのバンクで畳み込む（3つの空間周波数；6つの方位）。
• 偶・奇応答を振幅R_kに結合し、照明依存性を減らすためにコサインフィルターの寄与を差し引く；対応する顔点間でのガボールベクトルの正規化ドット積として似度測度を計算する。
• 顔の幾何を34ノードのグリッド上に表現し、グリッド単位の類似度を対応点の平均として計算する。
• 画像由来のガボール類似度を、リッカート尺度の判断から得られた基本表情の人間セマンティック評価と比較する。
• 構造を検討するために、非計量多次元尺度法を用いてガボールとセマンティック類似度データの二次元埋め込みを行う。

実験結果

リサーチクエスチョン

• RQ1 ガボールベースの表情表現は、感情の人間のセマンティック判断と一致する類似性構造を生み出すか。
• RQ2 ガボール表現は、心理学的モデルに類似した低次元の組織（例：円環モデルのような）を表情に対して露呈できるか。
• RQ3 ガボール符号は非純粋な表情や照明変化に対して頑健で、分類器設計の可能性を開くか。
• RQ4 ガボールベースの類似度は、特徴点の変位に基づく幾何学的コントロールとどう比較されるか。

主な発見

• ガボールベースの類似度は、恐怖を含めた場合の平均Spearman相関が約0.568、恐怖を除いた場合が約0.679と、人間のセマンティック評価と有意に相関。
• 幾何学ベースのコントロールは平均相関が低く（恐怖を含むと0.366、恐怖を除くと0.462）。
• nMDSは、ガボール符号化データとセマンティックデータが基本表情カテゴリにクラスタリングされる低次元構造を示し、快-不快および覚醒関連の次元を大まかに分ける軸を持つ。
• 人間の判断と一致させる点で、ガボール符号は幾何学のみよりも優れており、表情符号化の心理学的妥当性を支持する。
• 恐怖表情は変動性が高く、いくつかの比較で相関強度を低下させる。恐怖の姿勢や認識の課題を示唆する。