[論文レビュー] Deep Convolutional Neural Network Features and the Original Image

Connor J. Parde, Carlos D. Castillo+5 more|arXiv (Cornell University)|Nov 6, 2016

Face recognition and analysis参考文献 17被引用数 19

ひとこと要約

この論文は、姿勢や照明の変化に対して頑健であるにもかかわらず、深層畳み込みニューラルネットワーク（DCNN）特徴量が元の画像の性質に関する情報をどのように保持しているかを調査している。2つの顔認識用DCNNネットワークを用い、線形分類器とt-SNE可視化を適用した結果、上位レベルの特徴量がヨー角、ピッチ角、メディアタイプ（静止画対動画）および画像品質をエンコードしていることが明らかになった。劣化した画像は特徴空間の原点付近に集積する傾向にあり、DCNNパイプラインにおける低品質入力の自動特定に新たな手法を提供する可能性を示唆している。

ABSTRACT

Face recognition algorithms based on deep convolutional neural networks (DCNNs) have made progress on the task of recognizing faces in unconstrained viewing conditions. These networks operate with compact feature-based face representations derived from learning a very large number of face images. While the learned features produced by DCNNs can be highly robust to changes in viewpoint, illumination, and appearance, little is known about the nature of the face code that emerges at the top level of such networks. We analyzed the DCNN features produced by two face recognition algorithms. In the first set of experiments we used the top-level features from the DCNNs as input into linear classifiers aimed at predicting metadata about the images. The results show that the DCNN features contain surprisingly accurate information about the yaw and pitch of a face, and about whether the face came from a still image or a video frame. In the second set of experiments, we measured the extent to which individual DCNN features operated in a view-dependent or view-invariant manner. We found that view-dependent coding was a characteristic of the identities rather than the DCNN features - with some identities coded consistently in a view-dependent way and others in a view-independent way. In our third analysis, we visualized the DCNN feature space for over 24,000 images of 500 identities. Images in the center of the space were uniformly of low quality (e.g., extreme views, face occlusion, low resolution). Image quality increased monotonically as a function of distance from the origin. This result suggests that image quality information is available in the DCNN features, such that consistently average feature values reflect coding failures that reliably indicate poor or unusable images. Combined, the results offer insight into the coding mechanisms that support robust representation of faces in DCNNs.

研究の動機と目的

• 非制約的顔認識における深層畳み込みニューラルネットワーク（DCNN）が学習する顔表現の性質を理解すること。
• 頑健なDCNN特徴量が、元の画像の性質（姿勢、照明、メディアタイプなど）を保持しているかどうかを調査すること。
• 視点依存的コード化は、識別子そのものに由来するものか、それともDCNN特徴量そのものに由来するものかを検討すること。
• 画像品質がDCNN特徴空間の構造にエンコードされているかどうか、特に原点からの距離に関連して検討すること。

提案手法

• Janus CS2データセット（IJB-Aの拡張版）を用いて、最近の2つのDCNN顔認識モデルを訓練した。
• これらのネットワークの上位レベル特徴量を線形分類器の入力として用い、メタデータ（ヨー角、ピッチ角、メディアタイプ）を予測した。
• t分布型近傍推定（t-SNE）を用いて、500人の識別子にまたがる24,502枚の画像の特徴空間を可視化した。
• 特徴空間の原点からの距離に基づいて画像をランク付けし、画像品質の傾向を評価した。
• 個々の特徴量について、識別子ごとに視点依存性およびメディア依存性を分析した。
• 原点付近に集積する劣化画像のクラスタを可視化し、共通する劣化要因（例：被覆、ぼやけ、極端な視点）を特定した。

実験結果

リサーチクエスチョン

• RQ1 上位レベルのDCNN特徴量は、元の画像の姿勢（ヨー角、ピッチ角）およびメディアタイプ（静止画または動画フレーム）に関する情報をどの程度保持しているか。
• RQ2 視点依存的コード化はDCNN特徴量そのものに由来するものか、それとも個々の識別子に由来するものか。
• RQ3 DCNN特徴空間における原点からの距離は、画像品質と相関しているか。
• RQ4 DCNN特徴空間の構造を用いて、低品質または不適切な画像を同定・フィルタリングできるか。

主な発見

• DCNN上位レベル特徴量はヨー角およびピッチ角に関する高い精度の情報を保持しており、線形分類器がこれらの属性を強く性能で予測可能であった。
• 同じ特徴量は、入力が静止画か動画フレームかを正確に予測でき、メディア固有の特徴がエンコードされていることを示した。
• 視点依存的コード化は、識別子そのものに由来する性質であり、一部の識別子は一貫して視点依存的にコード化され、他の識別子は視点不変的にコード化された。
• 極端な視点、被覆、ぼやけ、低解像度などの特徴を示す低品質画像は、特徴空間の原点付近に集積した。
• 画像品質は原点からの距離とともに単調に向上し、原点からの距離が画像品質の信頼できる代理指標であることが示された。
• 特徴空間の構造から、一貫して低い特徴値はコード化の失敗を示しており、これにより低品質または不適切な画像の自動検出が可能であることがわかった。