[論文レビュー] Training-Free Synthesized Face Sketch Recognition Using Image Quality Assessment Metrics

Nannan Wang, Jie Li+3 more|arXiv (Cornell University)|Mar 25, 2016

Image and Video Quality Assessment参考文献 14被引用数 9

ひとこと要約

本論文は、訓練を要しない顔スケッチ認識フレームワークを提案する。このフレームワークは、全参照画像品質評価（IQA）指標（SSIM、VIF、FSIM、GMSD）を用い、プローブスケッチをギャラリーの合成顔写真スケッチと照合する。IQAスコアを1-NN分類における類似度測定値として用いることで、ベースラインのK-NNおよび古典的なEigenface訓練ベース手法を上回る精度を達成し、MWF合成手法からのスケッチを用いた場合、最高で84.91%のランク1精度を達成した。

ABSTRACT

Face sketch synthesis has wide applications ranging from digital entertainments to law enforcements. Objective image quality assessment scores and face recognition accuracy are two mainly used tools to evaluate the synthesis performance. In this paper, we proposed a synthesized face sketch recognition framework based on full-reference image quality assessment metrics. Synthesized sketches generated from four state-of-the-art methods are utilized to test the performance of the proposed recognition framework. For the image quality assessment metrics, we employed the classical structured similarity index metric and other three prevalent metrics: visual information fidelity, feature similarity index metric and gradient magnitude similarity deviation. Extensive experiments compared with baseline methods illustrate the effectiveness of the proposed synthesized face sketch recognition framework. Data and implementation code in this paper are available online at www.ihitworld.com/WNN/IQA_Sketch.zip.

研究の動機と目的

• 訓練を要しない顔スケッチ認識フレームワークを構築し、高価なスケッチデータ収集や分類器学習を回避すること。
• 顔スケッチの合成品質を、全参照画像品質評価（IQA）指標を認識性能の代理指標として用いて評価すること。
• 合成とIQAベースの照合により、スケッチと顔写真の間のドメインギャップを低減し、スケッチから写真への照合精度を向上させること。
• 可視光から赤外線、写真からスケッチにまで及ぶ、異種顔画像変換タスクの一般化可能な評価フレームワークを提供すること。
• IQA指標が学習を必要とせず、認識類似度測定値として効果的であることを示すこと。

提案手法

• ギャラリー内の顔写真を、最先端の4つの合成手法（LLE、SSD、MRF、MWF）を用いてすべてスケッチに変換する。
• 各プローブスケッチを参照画像とし、各合成スケッチを全参照IQA設定における歪み画像として扱う。
• プローブスケッチとギャラリー内各合成スケッチとの間で、IQAスコア（SSIM、VIF、FSIM、GMSD）を計算する。
• IQAスコアが最大となるギャラリー内のスケッチを1-NN分類によりマッチング先として選択する。
• 累積マッチ精度（CMA）およびランクベース評価を用いて、異なるIQA指標および合成手法における認識性能を測定する。
• 繰り返しランダムサンプリングを用い、平均精度を報告することで、提案されたIQAベースフレームワークとベースラインK-NN、および訓練ベースのEigenface手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 全参照画像品質評価指標は、合成顔スケッチ照合において、従来の認識手法に代わる有効な代替手段として機能できるか？
• RQ2 IQA指標に基づく訓練不要フレームワークは、従来のK-NNおよびEigenfaceのような訓練ベース手法を上回る性能を示せるか？
• RQ3 SSIM、VIF、FSIM、GMSDのうち、どのIQA指標が合成スケッチに適用した場合に最高の認識精度を達成するか？
• RQ4 IQAベースの認識で評価した場合、LLE、SSD、MRF、MWFの異なる顔スケッチ合成手法の性能はどのように比較できるか？
• RQ5 提案されたIQAベースフレームワークは、顔スケッチ合成品質の信頼性ある評価指標として機能できるか？

主な発見

• 提案されたIQAベースフレームワークは、MWF合成手法からのスケッチを用いた場合、VIF指標を用いて最高で84.91%のランク1精度を達成した。
• LLE手法は、FSIM指標を用いた場合、ランク50精度が98.22%に達し、高いランクでの性能を示した。
• IQAベース手法は、すべての指標および合成手法においてK-NNベースラインを上回り、一貫した認識精度の向上を示した。
• フレームワークは古典的な訓練ベースのEigenface手法をも凌駕し、4つの合成手法すべてで平均精度が高く維持された。
• MWF手法は一貫して上位のパフォーマンスを示し、VIFでは最高のランク1精度を達成し、GMSDおよびFSIMでも優れた性能を示した。
• フレームワークは汎用性を示し、写真からスケッチに限らず、可視光から赤外線への変換など、他の異種顔画像変換タスクの評価にも応用可能である。