[論文レビュー] Interspecies Knowledge Transfer for Facial Keypoint Detection

Maheen Rashid, Xiuye Gu+1 more|arXiv (Cornell University)|Apr 13, 2017

Face recognition and analysis参考文献 45被引用数 4

ひとこと要約

本稿では、形状に配慮したワープを用いて人間の顔キーポイント検出から知識を転送することで、動物の顔キーポイント検出のための新規手法を提案する。まず、最近傍の人の顔の近傍に最適化された薄板スプラインネットワークを用いて動物の顔を人間の顔に類似させるワープを施し、その後、その変形済み動物データ上で事前学習済みの人間キーポイント検出器をファインチューニングすることで、特に限られた学習データ条件下でも最先端の性能を達成する。

ABSTRACT

We present a method for localizing facial keypoints on animals by transferring knowledge gained from human faces. Instead of directly finetuning a network trained to detect keypoints on human faces to animal faces (which is sub-optimal since human and animal faces can look quite different), we propose to first adapt the animal images to the pre-trained human detection network by correcting for the differences in animal and human face shape. We first find the nearest human neighbors for each animal image using an unsupervised shape matching method. We use these matches to train a thin plate spline warping network to warp each animal face to look more human-like. The warping network is then jointly finetuned with a pre-trained human facial keypoint detection network using an animal dataset. We demonstrate state-of-the-art results on both horse and sheep facial keypoint detection, and significant improvement over simple finetuning, especially when training data is scarce. Additionally, we present a new dataset with 3717 images with horse face and facial keypoint annotations.

研究の動機と目的

• 馬やヤギのような種類において、大規模なアノテート済みデータセットが不足している問題に対処すること。
• 豊富なアノテート済みデータを活用できる人間の顔キーポイント検出から知識を転送することで、動物のキーポイント検出精度を向上させること。
• 構造的・外観的差異のため、人間の顔から動物の顔への直接的なファインチューニングが不十分な性能にとどまることを是正すること。
• ファインチューニングの前段階で種間の形状差を明示的に補正する手法を開発し、限られたデータでもより良い適応を可能にすること。
• 今後の研究を支援するため、新たに大規模な馬の顔キーポイントデータセットを公開すること。

提案手法

• キーポイント配置に基づいて、各動物画像について最も近い人の顔の近傍を特定する非教師ありの形状マッチング手法を用いる。
• 薄板スプライン（TPS）ワープネットワークを訓練し、各動物の顔をその最近傍の人の顔に類似させるように変形させ、形状の不一致を最小化する。
• 変形済みの動物画像を用いて、事前学習済みの深層ニューラルネットワーク（人間顔キーポイント検出用）をファインチューニングし、ネットワークが形状の違いではなく外観の違いに注目できるようにする。
• ワープネットワークとキーポイント検出ネットワークを、ファインチューニング中に同時に最適化することで、アライメント精度と検出精度を向上させる。
• システムは馬とヤギのデータセットに対して評価され、ワープ精度と近傍数に関するアブレーションスタディが実施された。
• 顔キーポイントアノテーションが付与された3,717枚の馬の画像からなる新規データセットを導入し、ベンチマークと今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 顔の形状や外観に顕著な差異があるにもかかわらず、人間の顔キーポイント検出から知識転送を動物に効果的に適応できるか？
• RQ2 直接的なファインチューニングと比較して、ファインチューニングの前段階で動物の顔を人間の顔に類似させるワープを施すことで、キーポイント検出性能が向上するか？
• RQ3 訓練データ量が減少するに従って、本手法の性能はどのように変化するか？
• RQ4 ワープの精度と最近傍の人の顔の数が、検出性能に与える影響は何か？
• RQ5 形状に配慮したワープ戦略により、大規模なアノテート済み動物データセットの必要性が低減できるか？

主な発見

• 提案手法は、馬とヤギの両方の顔キーポイント検出において、最先端の性能を達成しており、単純なファインチューニングやTPSベースのベースラインを上回っている。
• 馬のデータセットにおいて、500枚の訓練画像を用いた場合、TPSベースラインと比較して6.72パーセンテージポイント、単純なファインチューニングと比較して13.39パーセンテージポイントの失敗率低減を達成した。
• 訓練データサイズが減少するに従って、提案手法とベースラインとの性能差が拡大するため、優れたデータ効率性を示している。
• 真値のワープ画像（GT Warp）をベースラインとして用いた場合、失敗率は7.76％であったが、提案手法では8.36％を達成しており、ワープネットワークが有効であるが完璧ではないことが示された。
• 最近傍の数（K）を増やすことで誤差率は一定の点まで低下するが、K > 10になるとノイズの多い近傍選択により性能が劣化するため、最適な近傍数が存在することが示された。
• 本手法は限られたデータセットに対しても頑健で実用的であり、大規模なアノテート済み動物データセットの収集が現実的に困難な実世界の応用に適している。