[論文レビュー] Cartoon Face Recognition: A Benchmark Dataset

Yi Zheng, Yifan Zhao+5 more|arXiv (Cornell University)|Jul 31, 2019

Face recognition and analysis参考文献 42被引用数 4

ひとこと要約

本稿では、5,013体のキャラクターを対象に、豊富なアノテーションを備えた389,678枚の画像を含む、アニメ顔認識分野で最大規模かつ最も包括的なベンチマークデータセットiCartoonFaceを紹介する。本稿では、人間顔データを活用してアニメ顔認識および検出を向上させるマルチタスクドメイン適応フレームワークを提案し、共同学習とドメイン正則化を用いて、84.34%のRank@1精度を達成し、最先端の性能を実現した。

ABSTRACT

Recent years have witnessed increasing attention in cartoon media, powered by the strong demands of industrial applications. As the first step to understand this media, cartoon face recognition is a crucial but less-explored task with few datasets proposed. In this work, we first present a new challenging benchmark dataset, consisting of 389,678 images of 5,013 cartoon characters annotated with identity, bounding box, pose, and other auxiliary attributes. The dataset, named iCartoonFace, is currently the largest-scale, high-quality, richannotated, and spanning multiple occurrences in the field of image recognition, including near-duplications, occlusions, and appearance changes. In addition, we provide two types of annotations for cartoon media, i.e., face recognition, and face detection, with the help of a semi-automatic labeling algorithm. To further investigate this challenging dataset, we propose a multi-task domain adaptation approach that jointly utilizes the human and cartoon domain knowledge with three discriminative regularizations. We hence perform a benchmark analysis of the proposed dataset and verify the superiority of the proposed approach in the cartoon face recognition task. We believe this public availability will attract more research attention in broad practical application scenarios.

研究の動機と目的

• 産業的・学術的応用におけるアニメ顔認識のための、大規模かつ高品質なデータセットの不足に対処すること。
• 人間顔認識から得られる知識をアニメ顔認識に効果的に転送できるかを調査すること。
• 人間顔データを活用して、アニメメディアのラベリング効率と正確性を向上させる半自動アノテーションパイプラインの開発。
• 多様な実世界の条件下で、アニメ顔認識および顔検出の両タスクに対するベンチマークの確立。
• マルチタスクドメイン適応が、人間顔とアニメ顔の間のドメインギャップをどれだけ効果的に埋められるかを評価すること。

提案手法

• 5,013体のアニメキャラクターを対象に、ID、バウンディングボックス、3次元ポーズ、性別、その他の属性をアノテーションした、389,678枚の画像を含む大規模データセットiCartoonFaceを提案。
• 事前学習済みの人間顔検出器および分類器を事前知識として活用し、アニメ顔アノテーションの高速化と精度向上を図る半自動ラベリングアルゴリズムを開発。
• 分類損失、未知ID拒否損失、ドメインアライメント損失という3つの識別的正則化を用いて、人間顔およびアニメ顔データを共同で学習するマルチタスクドメイン適応フレームワークを導入。
• 顔認識および顔検出のタスク固有ヘッドを備えた共有バックボーン（例：DenseNet-169）を採用し、ドメイン間での知識移行を可能にした。
• クラス不均衡の緩和とハードサンプルの認識性能向上を目的に、Focal LossとArcFaceを組み合わせたF-ArcFaceを採用。
• 顔領域の拡張率を0.0から1.0まで変化させたデータオーグメンテーションを実施し、文脈的情報の影響が認識精度に与える影響を分析。

実験結果

リサーチクエスチョン

• RQ1 人間顔認識データセットからの知識が、アニメ顔認識の性能向上に効果的に転送可能か？
• RQ2 文脈的情報（例：髪、小物）の含め方がアニメ顔認識性能にどのように影響するか？
• RQ3 人間顔およびアニメ顔ドメインにおける共同学習に最適なマルチタスクドメイン適応損失の設定は何か？
• RQ4 人間顔データを活用した半自動ラベリングが、アニメデータセットのラベリング効率と正確性をどの程度向上できるか？
• RQ5 iCartoonFaceベンチマーク上での、最新のモデル性能は、データオーグメンテーションおよびドメイン適応戦略の違いによってどの程度変化するか？

主な発見

• 分類損失、未知ID拒否損失、ドメインアライメント損失の3つの損失を併用した本稿で提案するマルチタスクドメイン適応モデルが、iCartoonFace上で最も高いRank@1精度84.34%を達成し、ベースラインモデルを上回った。
• WiderFaceなどの人間顔データを学習プロセスに組み込むことで、アニメ顔検出精度が91.0%から92.4%に向上した。
• 顔領域を元のサイズの1.75倍（75%拡大）に拡張した場合が最も高い認識性能を示し、Rank@1は78.29%、Rank@5は89.95%に達した。
• F-ArcFaceは他の最先端モデルを上回り、83.96%のRank@1を達成した。これは、Focal Lossがアニメ顔認識におけるハードサンプルの処理に有効であることを示している。
• アブレーションスタディの結果、ドメインアライメント損失が性能向上に不可欠であることが確認され、ドメイン間での一般化性能が顕著に向上した。
• 半自動ラベリングパイプラインは、高品質なアノテーションを維持しながらも、アノテーションコストを著しく削減でき、大規模かつ豊富なアノテーションを備えたデータセットの構築を可能にした。