[論文レビュー] Quality Classified Image Analysis with Application to Face Detection and Recognition

Fei Yang, Qian Zhang+2 more|arXiv (Cornell University)|Jan 19, 2018

Face recognition and analysis参考文献 11被引用数 3

ひとこと要約

本論文では、混合画像品質の実世界シナリオにおける顔検出および顔認識の性能を向上させる、品質分類型の画像解析フレームワークを提案する。深層畳み込みニューラルネットワークを用いて画像劣化の種別（例：JPEG圧縮、低解像度）と深刻度を分類し、品質別に最適化された検出器および識別器の予測を統合することで、混合品質データセット上で最先端の性能を達成した。顔検出ではmAPが0.9602に向上し、顔認識では65.81%の精度に到達した。

ABSTRACT

Motion blur, out of focus, insufficient spatial resolution, lossy compression and many other factors can all cause an image to have poor quality. However, image quality is a largely ignored issue in traditional pattern recognition literature. In this paper, we use face detection and recognition as case studies to show that image quality is an essential factor which will affect the performances of traditional algorithms. We demonstrated that it is not the image quality itself that is the most important, but rather the quality of the images in the training set should have similar quality as those in the testing set. To handle real-world application scenarios where images with different kinds and severities of degradation can be presented to the system, we have developed a quality classified image analysis framework to deal with images of mixed qualities adaptively. We use deep neural networks first to classify images based on their quality classes and then design a separate face detector and recognizer for images in each quality class. We will present experimental results to show that our quality classified framework can accurately classify images based on the type and severity of image degradations and can significantly boost the performances of state-of-the-art face detector and recognizer in dealing with image datasets containing mixed quality images.

研究の動機と目的

• 顔検出および顔認識性能に及ぼす画像品質の影響という、重要だがしばしば無視されがちな要因に対処すること。
• 最適な性能を得るためには、トレーニングデータとテストデータが類似した画像品質を持つ必要があるが、単に高品質である必要があるわけではないことを示すこと。
• 画像劣化の種別（例：JPEG、低解像度）と深刻度を分類するフレームワークを構築すること。
• 入力画像の品質に応じて、適切な品質特化型検出器および識別器を選択・統合するモデル統合戦略を設計すること。
• 実世界の混合品質データセットを用いてフレームワークを検証し、標準的手法に比べ顕著な性能向上を示すこと。

提案手法

• 入力画像を劣化の種別（JPEG圧縮または低解像度）と深刻度に基づいて品質クラスに分類する深層畳み込みニューラルネットワークを学習する。
• フレームワークは、各テスト画像を品質クラスに割り当てた後、それに応じて事前に学習済みの検出器または識別器にルーティングする品質分類器を用いる。
• 各品質クラスに対して、類似した劣化特性を持つデータセット上で別々の顔検出器および識別器を学習する。
• 推論時、予測が最も信頼性の高いK個（例：K=1, 3, 5）の品質特化型モデルを選択し、それらの予測を統合することで精度を向上させる。
• Faster R-CNN や VGG_Face といった最先端のモデルを、品質分類型フレームワーク内のベースラーナーとして活用する。
• フレームワークは、混合品質テストデータセット上で顔検出にはmAP、顔認識には正答率を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 画像品質が標準的な顔検出および顔認識モデルの性能に顕著に悪影響を及えるか？
• RQ2 モデル性能は、トレーニングデータとテストデータの品質が類似しているかどうかに、絶対的な画像品質よりも依存しているか？
• RQ3 深層学習ベースの分類器は、画像劣化の種別（例：JPEG圧縮、低解像度）と深刻度を正確に同定できるか？
• RQ4 品質特化型モデルの予測を統合することで、標準モデルに比べて混合品質データセット上での性能が向上するか？
• RQ5 提案されたフレームワークは、品質が変動する実世界の画像解析シナリオにおいて、ベースライン手法をどの程度上回るか？

主な発見

• 混合品質データセット上で、トップ5の品質特化型モデルの予測を統合した結果、顔検出のmAPが0.9602に達し、標準モデルを顕著に上回った。
• 高品質データのみで学習した場合、混合品質テストデータ上での顔検出mAPは0.7292に低下し、品質の不一致がもたらす悪影響が明確になった。
• 真の品質を事前に把握した「ターゲットモデルアプローチ」を用いることで、mAPは0.9557に達し、品質に配慮したモデリングがほぼ理想性能を回復できることを示した。
• フレームワークにより、混合品質データ上での顔認識正答率は、標準モデルの61.4%からK=5統合時で65.81%に向上し、一貫した性能向上が確認された。
• 品質分類器は、JPEG圧縮と低解像度劣化を正確に区別できており、適切なモデルへのルーティングが可能になった。
• K=5でのモデル統合が最高の性能を示し、単一のモデルに依存するのではなく、複数の専用モデルを統合する戦略がより効果的であることが示された。