[論文レビュー] Face Sketch Synthesis Style Similarity:A New Structure Co-occurrence Texture Measure

Deng-Ping Fan, Shengchuan Zhang+5 more|arXiv (Cornell University)|Apr 9, 2018

Face recognition and analysis参考文献 41被引用数 10

ひとこと要約

本稿では、顔スケッチ合成におけるスタイル類似度を評価する新規メトリックであるScoot-measureを提案する。このメトリックは、局所的な空間的構造と共起性テクスチャ統計を統合的に評価することで、人間の判断との整合性を著しく向上させる。人間の知覚との相関は78.8%に達し、従来の最高性能メトリック（58.6%）を大きく上回る。本研究は、FSSアルゴリズムの評価に向け、堅牢で信頼性の高いフレームワークを提供する。

ABSTRACT

Existing face sketch synthesis (FSS) similarity measures are sensitive to slight image degradation (e.g., noise, blur). However, human perception of the similarity of two sketches will consider both structure and texture as essential factors and is not sensitive to slight ("pixel-level") mismatches. Consequently, the use of existing similarity measures can lead to better algorithms receiving a lower score than worse algorithms. This unreliable evaluation has significantly hindered the development of the FSS field. To solve this problem, we propose a novel and robust style similarity measure called Scoot-measure (Structure CO-Occurrence Texture Measure), which simultaneously evaluates "block-level" spatial structure and co-occurrence texture statistics. In addition, we further propose 4 new meta-measures and create 2 new datasets to perform a comprehensive evaluation of several widely-used FSS measures on two large databases. Experimental results demonstrate that our measure not only provides a reliable evaluation but also achieves significantly improved performance. Specifically, the study indicated a higher degree (78.8%) of correlation between our measure and human judgment than the best prior measure (58.6%). Our code will be made available.

研究の動機と目的

• ピクセルレベルのノイズやぼやけに過敏であるため、従来の顔スケッチ合成（FSS）類似度測定法の信頼性の低さを是正する。
• SSIM、FSIM、VIF、GMSDといった現在のメトリックが、ピクセルレベルの劣化に注目するがゆえに人間の知覚と一致しないという限界を克服する。
• ブロックレベルの構造と共起性テクスチャ特徴を統合することで、包括的なコンテンツおよびスタイル類似度を捉える新しい評価メトリックを開発する。
• 776枚および1,888枚の画像を含む、2つの新しい人間によるアノテーション付きデータセットを構築することで、FSS評価のための信頼性の高いベンチマークを確立する。
• スケッチにおけるスタイル類似度評価において、ピクセル単位やエッジベースの特徴よりも、共起性テクスチャ統計がより情報をもたらすことを示す。

提案手法

• Scoot-measure（構造的共起性テクスチャ測定）を提案。2段階の評価フレームワーク：まず入力スケッチを離散的なグレードに量子化し、次にブロックレベルの空間的構造を分析する。
• スケッチ内の非重複ブロック間でテクスチャパターンペアの頻度を計算することで、共起性テクスチャ統計を抽出する。
• 重み付き統合戦略を用いて、ブロックレベルの構造的一致性と共起性テクスチャ類似度を統合し、統一された類似度スコアを生成する。
• メトリック性能を評価するための4つのメタメトリック（MM1–MM4）を設計：リサイズ・回転に対する耐性（MM1, MM2）、コンテンツ保存性（MM3）、人間判断との相関（MM4）。
• 776組のヒューリスティックランクスケッチペアと、より大きな1,888枚の画像データセットを用いて、多様なFSSアルゴリズムにおけるメトリックの有効性を検証する。
• Canny、Sobel、Gabor、GLRLMなどの14種類の代替特徴量と比較することで、共起性テクスチャモデリングの優位性を実証する。

実験結果

リサーチクエスチョン

• RQ1 既存のFSS類似度測定法は、ピクセルレベルのアーティファクトに過敏であるがゆえに、人間の知覚とどの程度ずれているのか。
• RQ2 ブロックレベルの構造と共起性テクスチャ統計を統合的にモデル化するメトリックは、スケッチにおける人間のスタイル類似度をよりよく反映できるか。
• RQ3 Scoot-measureは、リサイズや回転といった画像変換に対して、従来のメトリックと比べてどの程度頑健か。
• RQ4 異なるテクスチャおよびエッジベースの特徴量が、FSS評価メトリックの性能に及ぼす影響は何か。
• RQ5 ペアワイズの共起性テクスチャパターンを組み込むことで、自動メトリックと人間の判断との相関が顕著に向上するか。

主な発見

• Scoot-measureは、より大きな人間アノテーション付きデータセットにおいて、人間の判断と78.8%の相関を示し、従来の最高性能メトリック（58.6%）を著しく上回った。
• リサイズや回転に対する変換に対して高い頑健性を示し、MM1およびMM2スコアから、変換に強い耐性があることが裏付けられた。
• コンテンツ保存性が顕著に向上し、CUFSFデータセットにおけるMM3（コンテンツ一貫性）で97.5%の正確性を達成した。
• 代替特徴量の中では、GLRLMとGaborのみが中程度の性能を示したが、CannyおよびSobelはコンテンツの保存性や人間の判断との一致に失敗した。
• ペairワイズの共起性テクスチャ統計の組み込みにより、次善の手法（GMSD）と比較して、人間の相関が20.2%向上した。
• CE（共起性エッジ）特徴量を組み込んだScoot-measureは、すべてのメタメトリックで最高の性能を示し、統計的に有意な改善（p < 0.05）を達成した。