[論文レビュー] Facial Landmark Detection for Manga Images

Marco Stricker, Olivier Augereau+2 more|arXiv (Cornell University)|Nov 8, 2018

Face recognition and analysis参考文献 5被引用数 8

ひとこと要約

本論文は、新規に作成されたマンガデータセット上で19.31%の失敗率を達成し、スタイライズドな顔の特徴や表情に対しても頑健である、マンガ画像向けの深層学習ベースの顔ランドマーク検出システムを提案する。この手法は、マンガ固有のランドマークアノテーションモデルを用いた二段階のディープアライメントネットワーク（DAN）を採用しており、ワンステージモデルを上回る性能を示している。

ABSTRACT

The topic of facial landmark detection has been widely covered for pictures of human faces, but it is still a challenge for drawings. Indeed, the proportions and symmetry of standard human faces are not always used for comics or mangas. The personal style of the author, the limitation of colors, etc. makes the landmark detection on faces in drawings a difficult task. Detecting the landmarks on manga images will be useful to provide new services for easily editing the character faces, estimating the character emotions, or generating automatically some animations such as lip or eye movements. This paper contains two main contributions: 1) a new landmark annotation model for manga faces, and 2) a deep learning approach to detect these landmarks. We use the "Deep Alignment Network", a multi stage architecture where the first stage makes an initial estimation which gets refined in further stages. The first results show that the proposed method succeed to accurately find the landmarks in more than 80% of the cases.

研究の動機と目的

• スタイライズドで非フォトリアルなマンガの顔は、実際の人間の顔の比率や対称性と著しく異なるため、その顔ランドマーク検出の課題に対処すること。
• マンガの多様な芸術的スタイルにわたるランドマークラベリングの標準化を図る、新規のマンガ固有の顔ランドマークアノテーションモデルの開発。
• 750枚のマンガ顔と68個のアノテート済みランドマークを含む、公開用データセットの作成とリリース。今後のマンガ画像解析分野の研究を支援する。
• マンガ顔の特徴的な視覚的特性に特化した、深層学習ベースの顔ランドマーク検出システムの実装と評価。
• デジタルマンガにおける感情推定、キャラクターアニメーション、顔編集などの応用分野におけるランドマーク検出性能の向上。

提案手法

• 各段階が直前の段階からのランドマーク予測を改善するマルチステージの深層学習フレームワークである、ディープアライメントネットワーク（DAN）アーキテクチャを採用。
• 二段階のトレーニング戦略を採用：最初の段階で初期のランドマーク推定を行い、2番目の段階で画像全体のコンテキストと特徴の精錬を用いてそれを改善。
• 特にマンガデータセットのサイズが限られていることから、一般化性能の向上と過学習の低減を図るため、データオーグメンテーション技術を適用。
• ランドマークの誤差をチンからチンまでの距離（D_chin）で正規化し、画像のスケールやサイズに依存しない性能指標を実現。
• 成功を、正規化された平均誤差（S）が0.0333未満であると定義。これは人間ラベルラー間の最大変動と一致する。
• 3つの指標を用いて性能を評価：正規化単位での平均誤差、しきい値αまでの累積分布曲線下の面積（A_α）、失敗率（S > 0.0333となる画像の割合）。

実験結果

リサーチクエスチョン

• RQ1 スタイライズドで非一様な顔の比率や芸術的変動を示すマンガ画像において、深層学習ベースの顔ランドマーク検出システムが高精度を達成できるか。
• RQ2 マンガ固有のランドマーク検出において、二段階DANの性能はワンステージバージョンと比べてどのように異なるか。
• RQ3 データオーグメンテーションは、限られたマンガデータセットにおけるランドマーク検出の一般化性能と過学習の低減に、どの程度寄与するか。
• RQ4 実際の人間の顔でトレーニングしたモデルは、テストデータが完全にマンガから構成されていても、マンガのランドマーク検出性能を向上させるか。
• RQ5 ネットワーク段階数の増加（例：三段階）が、検出精度と計算コストに与える影響は何か。

主な発見

• データオーグメンテーションを組み合わせた二段階DANが最良の性能を示し、失敗率は19.31%にまで低下。ワンステージモデル（52.41%の失敗率）を著しく上回った。
• 最良の二段階モデルにオーグメンテーションを適用した場合、正規化された平均誤差は0.02935（チン距離で正規化）にまで低下。一方、オーグメンテーションなしのワンステージモデルでは0.04355であった。
• 累積分布曲線下の面積（A_α）は、最良のモデルで0.24295に達し、さまざまな誤差しきい値において優れた性能を示した。
• 80%以上のケースで正確なランドマーク検出が達成され、特に正面で表情が中立のものや、やや顔の変形があるもので最高の成功率を示した。
• 三段階モデルは二段階構成を上回る性能を示さず、追加の精錬段階による利得が小さくなる傾向を示した。
• 失敗しきい値0.0333は、人間ラベルラー間の変動に基づいて設定されており、この範囲内での予測は人間基準でも許容可能であることを確認した。