[論文レビュー] WIDER Face and Pedestrian Challenge 2018: Methods and Results

Chen Change Loy, Dahua Lin+50 more|arXiv (Cornell University)|Feb 19, 2019

Face recognition and analysis参考文献 28被引用数 28

ひとこと要約

本論文は、2018年WIDER FaceおよびPedestrian Challengeの優勝手法と結果を提示している。このコンテストは、3つのトラックを通じて、顔検出、歩行者検出、人物検索を評価した。最先端の1段階検出器、マルチスケール特徴統合、顔とボディのRe-ID特徴を用いた2段階再ランク付けフレームワークが強調され、WIDER Faceでは55.82%のmAPという最先端の性能を達成した。また、顔とボディの類似性スコアを統合することで、人物検索でも最高の性能を発揮した。

ABSTRACT

This paper presents a review of the 2018 WIDER Challenge on Face and Pedestrian. The challenge focuses on the problem of precise localization of human faces and bodies, and accurate association of identities. It comprises of three tracks: (i) WIDER Face which aims at soliciting new approaches to advance the state-of-the-art in face detection, (ii) WIDER Pedestrian which aims to find effective and efficient approaches to address the problem of pedestrian detection in unconstrained environments, and (iii) WIDER Person Search which presents an exciting challenge of searching persons across 192 movies. In total, 73 teams made valid submissions to the challenge tracks. We summarize the winning solutions for all three tracks. and present discussions on open problems and potential research directions in these topics.

研究の動機と目的

• スケール、ポーズ、被覆、照明の極端な変動が生じる非制約的条件下での顔および歩行者検出の最先端性能を向上させること。
• 192本の動画をカバーする人物検索の課題に、顔とボディの特徴を併用して正確にアイデンティティを再取得すること。
• 統一されたベンチマークにおいて、3つの異なるコンピュータビジョンタスク（顔検出、歩行者検出、人物検索）で多様なディーブラーニングアーキテクチャとトレーニング戦略を評価・比較すること。
• 現在のアプローチの限界を特定し、特に統合的特徴学習とシーンコンテキスト統合を含む今後の研究方向性を示唆すること。

提案手法

• FPNとフォーカルロスを活用したマルチスケール特徴統合と高度なヘッド設計を備えた1段階顔検出器を採用し、小さな顔の検出精度を向上させた。
• MTCNNとPCNをオフザシェル顔検出器として使用し、顔埋め込み学習のための深層度量学習（ArcFace、Ring loss）を組み合わせた。
• 残差注意ブロックを備えたSE-ResNeXt50を用いてボディ特徴を抽出し、ソフトマックスとリングロスの両方を用いてトレーニングすることで、人物再識別性能を向上させた。
• 2段階のリtrievalパイプラインを実装：まず顔認識を用いて候補画像を取得し、次にボディRe-ID特徴を用いて再ランク付けすることで、非正面または被覆された人物の再現率を向上させた。
• k-相互再ランク付けを適用し、クエリ画像とギャラリー画像間の類似性スコアを精緻化することで、トップk検索性能を向上させた。
• 重み付き平均を用いてスコアレベルで顔とボディの類似性スコアを統合し、最終的な人物検索精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 スケールや被覆の極端な変動にさらされる条件下で、顔検出において最高のパフォーマンスを発揮するディーブラーニングアーキテクチャとトレーニング技術は何か？
• RQ2 多様なポーズ、照明、ごみ混じりの背景が存在する非制約的環境において、歩行者検出をどのように効果的に最適化できるか？
• RQ3 クエリ画像に顔しか含まれない場合、ギャラリー画像が正面ビューを欠いている場合に、人物検索の最適な戦略は何か？
• RQ4 顔とボディ特徴を統合的にモデリングすることで、単一モodalの使用に比べて検索精度が向上するか？
• RQ5 現在の2段階フレームワークにおける人物検索の主な限界は何か？統合的アーキテクチャは性能をどのように向上させ得るか？

主な発見

• 優勝顔検出ソリューションは、WIDER Faceのハードセットで55.82%のmAPを達成し、マルチスケール特徴統合と高度なヘッド設計により、先行手法を大きく上回った。
• トップパフォーマンスを発揮した歩行者検出システムは、FPNとフォーカルロスを備えた1段階検出器を採用しており、多様な歩行者外観とスケールに強く一般化した。
• 人物検索においては、第3位のソリューションが顔認識による初期候補取得とボディRe-IDによる再ランク付けを組み合わせ、最終的な類似性統合によりmAPが向上した。
• 深層度量ネットワークにおけるマルチロストレーニング（ソフトマックス＋リングロス）の適用により、顔とボディの埋め込みがより判別可能になり、クロスモダリティマッチング性能が向上した。
• k-相互再ランク付けを用いた再ランク付けは、特にハードネガティブサンプルにおいてトップ1およびトップ5の正確性を顕著に向上させた。
• 強力なパフォーマンスを発揮したが、顔とボディ特徴の統合的学習を実現する統合モデルは提案されておらず、今後の研究における主要な未解決課題であることが示された。