[論文レビュー] Learning Social Relation Traits from Face Images

Zhanpeng Zhang, Ping Luo+2 more|arXiv (Cornell University)|Sep 14, 2015

Face recognition and analysis参考文献 39被引用数 27

ひとこと要約

本稿では、異種のデータセットから顔画像からの微細な社会的関係特性（例：親しみやすさ、優位性、温かさ）を予測するための、ブリッジ層を備えた深層シアンズ型モデルを提案する。欠損ラベルを有するデータを統合し、クロスデータセット間の対応関係を活用することで、属性認識および関係予測の分野で最先端の性能を達成し、動画および画像解析応用分野における有効性を示している。

ABSTRACT

Social relation defines the association, e.g, warm, friendliness, and dominance, between two or more people. Motivated by psychological studies, we investigate if such fine-grained and high-level relation traits can be characterised and quantified from face images in the wild. To address this challenging problem we propose a deep model that learns a rich face representation to capture gender, expression, head pose, and age-related attributes, and then performs pairwise-face reasoning for relation prediction. To learn from heterogeneous attribute sources, we formulate a new network architecture with a bridging layer to leverage the inherent correspondences among these datasets. It can also cope with missing target attribute labels. Extensive experiments show that our approach is effective for fine-grained social relation learning in images and videos.

研究の動機と目的

• 親しみやすさ、優位性、温かさといった高レベルの社会的関係特性が、顔画像から自動的に認識可能かどうかを調査すること。
• ラベルが欠損していることや統計的分布が異なる異種の顔属性データセットで学習するという課題に対処すること。
• 顔の部位外観に内在する暗黙の対応関係を活用して、複数のデータセットを統合する統一された深層アーキテクチャを開発すること。
• 単一画像分析を越えて、ペアワイズの顔認識を可能にし、社会的関係予測を実現すること。
• 将来的な高レベルの顔認識研究を支援するため、心理学的根拠に基づいた関係特性でラベル付けされた新しいデータセットを構築すること。

提案手法

• ペアワイズの顔を共同で処理できる、シアンズ型の深層ニューラルネットワークアーキテクチャを設計し、関係推論のための相互文脈学習を可能にする。
• 顔の部位外観の弱い対応関係をモデル化することで、異種のデータセット間の特徴をブリッジ層を用いてアライメントする。
• 各タスクが顔属性（例：性別、表情、アングル、年齢）に対応するマルチタスク学習により、エンドツーエンドでモデルを訓練し、欠損ラベルがある場合でも知識の転送を促進する。
• ブリッジ層はネットワークの入力または出力として使用可能であり、入力として使用した場合に性能が向上することが実験で示された。
• 生の画像特徴を超えて、相対的な顔の位置などの追加の手がかりの統合をサポートする。
• 心理学的研究に基づいたペアワイズの関係特性でラベル付けされた、新しいデータセットを構築し、高レベルの社会的関係推論の評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 親しみやすさ、優位性、温かさといった微細な高レベルの社会的関係特性が、顔画像のみから信頼性を持って予測可能かどうか。
• RQ2 注釈カバレッジやデータ分布の違いがある異種の顔属性データセットから、深層モデルがどのように効果的に学習できるか。
• RQ3 欠損または部分的なラベルがあるデータセット間で、ブリッジ層が特徴アライメントと認識性能をどの程度向上させるか。
• RQ4 単一画像分析と比較して、ペアワイズの顔認識が社会的関係予測を顕著に改善できるか。
• RQ5 モデルは、映画やソーシャルメディアのような実世界の動画・画像コレクションにどの程度一般化可能か。

主な発見

• ブリッジ層を入力として使用した場合、性別認識で92.8%、頭部アングル認識で95.4%のバランス精度を達成し、ベースラインモデルを上回った。
• 挑戦的なKaggle顔の表情データセットでは、75.10%の精度を達成し、以前の最先端手法の71.2%を上回った。
• ブリッジ層は、視覚的パターンに基づいて、異なるデータセットからの顔サンプルを一貫したクラスタにグループ化でき、効果的なクロスデータセット特徴アライメントを示した。
• 関係予測において高い性能を発揮し、『親しみやすさ』や『競争的』といった動的特性を『アイアンマン』の動画セグメントで的確に捉え、感情の変化に対応する確率の変動も高確率で検出できた。
• アブレーションスタディにより、ブリッジ層が、特にラベルが欠損している状況において、表情およびアングル認識の性能を顕著に向上させることを確認した。
• フレーム間で予測をスムーズ化し、微細な社会的ダイナミクスを検出できるため、実世界の応用（例：映画におけるキャラクター関係のプロファイリング）への一般化性能が優れていた。