[論文レビュー] Random Sampling and Locality Constraint for Face Sketch.

Nannan Wang, Xinbo Gao+1 more|arXiv (Cornell University)|Jan 8, 2017

Face recognition and analysis被引用数 12

ひとこと要約

本稿では、オンラインK-NN検索の代わりにオフラインランダムサンプリングと局所制約を用いる、効率的な顔スケッチ合成手法を提案する。これにより、計算時間の大幅な削減と合成品質の向上が達成され、最先端の手法と比較して優れたスケーラビリティと計算効率を示す。

ABSTRACT

Face sketch synthesis plays an important role in both digital entertainment and law enforcement. It generally consists of two parts: neighbor selection and reconstruction weight representation. State-of-the-art face sketch synthesis methods perform neighbor selection online in a data-driven manner by $K$ nearest neighbor ($K$-NN) searching. However, the online search increases the time consuming for synthesis. Moreover, since these methods need to traverse the whole training dataset for neighbor selection, the computational complexity increases with the scale of the training database and hence these methods have limited scalability. In addition, state-of-the-art methods consider that all selected neighbors contribute equally to the reconstruction weight computation process while the distinct similarity between the test patch and these neighbors are neglected. In this paper, we employ offline random sampling in place of online $K$-NN search to improve the synthesis efficiency. Locality constraint is introduced to model the distinct correlations between the test patch and random sampled patches. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods, in terms of both synthesis quality and time consumption. The proposed method could be extended to other heterogeneous face image transformation problems such as face hallucination. We will release the source codes of our proposed methods and the evaluation metrics for future study online: this http URL

研究の動機と目的

• 最先端の顔スケッチ合成手法におけるオンラインK-NN検索の高い計算コストを低減すること。
• 推論時に大規模なトレーニングデータベースに依存するのを減らすことで、スケーラビリティを向上させること。
• 一様な重み付けよりも、テストパッチと近隣パッチ間の類似性のばらつきをより正確にモデル化すること。
• 異種顔画像変換タスクにおける合成品質と効率を向上させること。

提案手法

• オンラインK-NN検索をオフラインランダムサンプリングに置き換え、候補パッチを事前に選択することで、リアルタイムでの近隣計算を排除する。
• サンプリングされたパッチの寄与度を、テストパッチとの類似度に基づいて重みづけする局所制約メカニズムを導入する。
• サンプリングの近接度とテストパッチとの類似度の両方を重みとして用いる重み付き再構成方式を採用する。
• モデルを一度だけオフラインで学習し、推論時に事前に抽出したパッチを適用することで、合成を高速化する。
• 局所制約を活用して関連のある近隣を強調し、類似度が低いものを抑制することで、再構成精度を向上させる。
• 顔ホールスビジョンなどの他の顔画像変換タスクへも拡張可能であるように設計する。

実験結果

リサーチクエスチョン

• RQ1 オフラインランダムサンプリングが、顔スケッチ合成におけるオンラインK-NN検索の置き換えとして、計算時間の削減に有効に機能するか。
• RQ2 一様な近隣重み付けと比較して、局所制約を組み込むことで再構成品質がどのように向上するか。
• RQ3 トレーニングデータベースのサイズが増加するに従って、本手法のスケーラビリティはどの程度向上するか。
• RQ4 公開ベンチマーク上での最先端手法と比較して、本手法は合成品質を維持または向上させるか。
• RQ5 本手法は、他の異種顔画像翻訳タスクへ一般化可能か。

主な発見

• オンラインK-NN検索の排除により、最先端の手法と比較して、合成時間が著しく短縮された。
• 標準指標を用いた評価で、公開顔スケッチデータベース上での合成品質が向上した。
• 計算コストがトレーニングデータセットのサイズに依存しないため、スケーラビリティが優れている。
• 局所制約により、テストパッチと近隣間の類似性の差を効果的にモデル化でき、再構成精度が向上した。
• 顔ホールスビジョンなどの他の顔画像変換タスクにも適用可能である。
• 今後の研究のため、ソースコードと評価指標をオンラインで公開する予定である。