[論文レビュー] WebCaricature: a benchmark for caricature recognition

Jing Huo, Wenbin Li+3 more|arXiv (Cornell University)|Mar 9, 2017

Face recognition and analysis参考文献 29被引用数 49

ひとこと要約

本稿では、252人の被験者から得た12,016組のコマicsと写真のペアを含む大規模なベンチマークデータセット「WebCaricature」を紹介する。このデータセットは、コマics認識分野の発展を目的としており、顔のランドマーク、評価プロトコル、深層学習およびメトリック学習を用いたベースライン結果を提供する。既存の最先端手法ですら、クロスモダリティ認識において55.53％のランク1精度にとどまっていることから、さらなる改善の余地が大きいことが明らかになった。

ABSTRACT

Studying caricature recognition is fundamentally important to understanding of face perception. However, little research has been conducted in the computer vision community, largely due to the shortage of suitable datasets. In this paper, a new caricature dataset is built, with the objective to facilitate research in caricature recognition. All the caricatures and face images were collected from the Web. Compared with two existing datasets, this dataset is much more challenging, with a much greater number of available images, artistic styles and larger intra-personal variations. Evaluation protocols are also offered together with their baseline performances on the dataset to allow fair comparisons. Besides, a framework for caricature face recognition is presented to make a thorough analyze of the challenges of caricature recognition. By analyzing the challenges, the goal is to show problems that worth to be further investigated. Additionally, based on the evaluation protocols and the framework, baseline performances of various state-of-the-art algorithms are provided. A conclusion is that there is still a large space for performance improvement and the analyzed problems still need further investigation.

研究の動機と目的

• コンピュータビジョン分野におけるコマics認識のための、大規模で多様性に富み、適切にアノテーションが施されたデータセットが不足しているという問題に取り組む。
• 研究コミュニティ全体で公平な手法比較が可能となるように、標準化されたベンチマークと評価プロトコルを確立する。
• 写真とコマicsの間のモダリティギャップや、同一人物の顔の変異といった、コマics認識における主な課題を分析する。
• 手作業で作成した特徴量と深層学習特徴量、およびアライメントとメトリック学習技術を用いたベースラインパフォーマンス結果を提供する。
• 未解決の問題を特定し、今後の研究におけるモダリティ不変特徴量学習およびランドマーク検出の分野における最適な研究方向を示唆する。

提案手法

• WebCaricatureデータセットは、ウェブソースから6,024枚のコマicsと5,974枚の顔写真を収集することで構築された。これには、多様な芸術的スタイルと高い同一人物内変異が含まれる。
• アライメントと特徴抽出を支援するため、自動的手動併用のアプローチを用いて、すべての画像に顔のランドマークをアノテーションした。
• 3つの評価プロトコルを確立した：認証（FAR=0.1%および1%）、識別（ランク1およびランク10）、制限あり／制限なし設定。
• マルチステージフレームワークを提案した：顔アライメント（目基準およびボックス基準）、特徴抽出（SIFTおよびVGG-Face）、メトリック学習（PCAおよびITML/KCSR）。
• KCSR（カーネル化相関部分空間）を適用することで、写真とコマics間のモダリティシフトを低減し、ドメイン間での一般化性能を向上させた。
• ベースラインモデルは、手作業特徴量（SIFT）と深層特徴量（VGG-Face）を用い、部分空間およびメトリック学習を組み合わせて、異なる設定下でのパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 最先端の認識モデルの性能は、高い芸術的変異を示すコマicsという挑戦的なドメインに、どの程度一般化されるのか？
• RQ2 目基準とボックス基準の両方の顔アライメント戦略が、コマics認識の正確性に与える影響は何か？
• RQ3 KCSRのようなメトリック学習手法は、写真とコマicsの間のモダリティギャップをどの程度低減できるのか？
• RQ4 極端な歪みが見られるコマicsにおいて、深層学習特徴量は手作業特徴量と比べてどの程度優れているのか？
• RQ5 現在のコマics認識システムにおける主なボトル neck は何か？今後の研究において最も有望な方向性は何か？

主な発見

• C2P（コマicsから写真）設定において最もパフォーマンスの高かった手法、VGG-Box-KCSRは、ランク1精度が55.41％にとどまり、さらなる改善の余地が大きいことが示された。
• P2C（写真からコマics）設定では、最高の手法がランク1精度55.53％を達成し、クロスモダリティ一般化において同様の制限が存在することが明らかになった。
• 深層学習特徴量（VGG-Face）は、手作業特徴量（SIFT）を著しく上回り、特にKCSRによるモダリティ適応を組み合わせた場合に顕著に優れた性能を示した。
• KCSRは、すべての設定で一貫してパフォーマンスを向上させ、写真とコマics間のドメインシフト低減に有効であることが実証された。
• 最適なアライメントと特徴学習が施されても、パフォーマンスはまだ飽和しておらず、より良いアライメントおよびモダリティ不変表現学習の必要性が浮き彫りになった。
• 制限なし設定では制限あり設定よりも高いパフォーマンスが得られたことから、より柔軟なアライメントと特徴学習が、コマicsの多様性をより効果的に処理できることが示唆された。