[論文レビュー] Random Sampling for Fast Face Sketch Synthesis

Nannan Wang, Xinbo Gao+1 more|arXiv (Cornell University)|Jan 8, 2017

Face recognition and analysis参考文献 26被引用数 8

ひとこと要約

本稿では、オンラインK近傍（K-NN）探索をオフラインランダムサンプリングに置き換えることで、計算時間を著しく削減しながらも高い合成品質を維持する高速な顔スケッチ合成手法RSLCRを提案する。事前にトレーニング用パッチをサンプリングし、局所性制約を適用して類似した写真パッチが類似した再構成重みを受け取ることを保証することで、公開ベンチマーク上で最先端の速度と競争力のある性能を達成した。

ABSTRACT

Exemplar-based face sketch synthesis plays an important role in both digital entertainment and law enforcement. It generally consists of two parts: neighbor selection and reconstruction weight representation. The most time-consuming or main computation complexity for exemplar-based face sketch synthesis methods lies in the neighbor selection process. State-of-the-art face sketch synthesis methods perform neighbor selection online in a data-driven manner by $K$ nearest neighbor ($K$-NN) searching. Actually, the online search increases the time consuming for synthesis. Moreover, since these methods need to traverse the whole training dataset for neighbor selection, the computational complexity increases with the scale of the training database and hence these methods have limited scalability. In this paper, we proposed a simple but effective offline random sampling in place of online $K$-NN search to improve the synthesis efficiency. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods, in terms of both synthesis quality and time consumption. The proposed method could be extended to other heterogeneous face image transformation problems such as face hallucination. We release the source codes of our proposed methods and the evaluation metrics for future study online: http://www.ihitworld.com/RSLCR.html.

研究の動機と目的

• 例示ベースの顔スケッチ合成におけるオンラインK-NN近傍選択の高コストを緩和すること。
• トレーニングデータベースのサイズが増加するに従い、顔スケッチ合成手法のスケーラビリティを向上させること。
• 推論時間を顕著に短縮しつつ、合成品質を維持または向上させること。
• 顔ホールスビジョンなどの他の異種顔画像翻訳タスクへも拡張可能なフレームワークを開発すること。

提案手法

• オンラインK-NN探索を、事前に候補となる写真およびスケッチパッチを選択するオフラインランダムサンプリング戦略に置き換える。
• 類似した写真パッチが線形結合において類似した再構成重みを受け取ることを保証するため、局所性制約を適用する。
• 重み付き線形再構成モデルを用いる：||x - Xw||²₂ を最小化し、∑wᵢ = 1 および wᵢ ≥ 0 を満たす。ここで、xはテストパッチ、Xはサンプリングされたトレーニング写真パッチの行列である。
• 空間的に隣接するパッチ間で再構成重みの滑らかさを強制するため、最適化に局所性正則化項を導入する。
• サンプリングおよび重み計算プロセスを一度だけオフラインで学習し、合成時の高速推論を可能にする。
• さらに高速化を図るため、サンプリングおよび重み計算を最適化したFast-RSLCRにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 オンラインK-NN探索をオフラインランダムサンプリングに置き換えても、合成品質が劣化しないか？
• RQ2 再構成重みに局所性制約を課すことで、合成品質およびロバストネスにどのような影響を与えるか？
• RQ3 提案手法はSOTA手法と比較して、どの程度推論時間を短縮できるか？
• RQ4 このフレームワークは、顔ホールスビジョンなどの他の顔画像翻訳タスクへ一般化可能か？
• RQ5 照明の変動や顔の変形といった挑戦的状況下でも、本手法はどの程度の性能を示すか？

主な発見

• RSLCRはCUFSデータベースで平均SSIMスコア55.72%、CUFSFデータベースで44.96%を達成し、比較したすべてのSOTA手法を上回った。
• Fast-RSLCRは推論時間を顕著に短縮し、評価されたすべてのアプローチの中で最も効率的な手法となった。
• CUFSFデータベースでは、NLDAを用いて75.94%の顔認識精度を達成し、他のすべての手法を上回った。
• SSIMスコアが高かったとしても、SSDは顔の変形（例：歪んだ口元）を生じさせやすく、MWFよりも顔認識精度が低かった。
• RSLCRにおける局所性制約は再構成の一貫性を向上させ、特に高密度テクスチャ領域でアーチファクトを低減した。
• オフラインサンプリング戦略により、トレーニングセットサイズが増大しても性能劣化なしにスケーラブルな合成が可能になった。