[論文レビュー] Fast Preprocessing for Robust Face Sketch Synthesis

Yibing Song, Jiawei Zhang+2 more|arXiv (Cornell University)|Aug 1, 2017

Face recognition and analysis被引用数 6

ひとこと要約

本稿では、入力画像とトレーニング画像の両方の照明を同時に調整することで、エキスナーベースの顔スケッチ合成における耐性を向上させる高速な前処理手法である双方向輝度再マッピング（BLR）を提案する。オンラインセグメンテーションをオフラインのアルファマッティングに分離することで、照明やコントラストの変化に対しても正確なK-NNパッチマッチングを実現し、多様なデータセットおよび照明条件下でも計算コストをほとんど増加させずにスケッチ品質を向上させる。

ABSTRACT

Exemplar-based face sketch synthesis methods usually meet the challenging problem that input photos are captured in different lighting conditions from training photos. The critical step causing the failure is the search of similar patch candidates for an input photo patch. Conventional illumination invariant patch distances are adopted rather than directly relying on pixel intensity difference, but they will fail when local contrast within a patch changes. In this paper, we propose a fast preprocessing method named Bidirectional Luminance Remapping (BLR), which interactively adjust the lighting of training and input photos. Our method can be directly integrated into state-of-the-art exemplar-based methods to improve their robustness with ignorable computational cost.

研究の動機と目的

• 入力画像とトレーニング画像の間で照明条件が異なる状況下でも、エキスナーベースの顔スケッチ合成が失敗する問題に対処すること。
• パッチ内でのローカルコントラストの変化に伴い機能しなくなる、照度不変距離尺度の限界を克服すること。
• 入力画像とトレーニング画像の顔領域および非顔領域における輝度統計を一致させることで、K-NNパッチマッチングの正確性を向上させること。
• 既存の最先端手法へのシームレスな統合を可能とし、実行時オーバーヘッドを最小限に抑えること。
• 実世界の照明、側面照明、ポーズ変動を含む多様なデータセットにおいて、頑健な性能を達成すること。

提案手法

• BLRは、トレーニング画像の輝度と一致させるために、入力画像の顔領域統計に基づくみんたる輝度再マッピングを実行する。
• オフライントレーニングで事前に計算されたアルファマットを用いて、トレーニング画像の非顔領域を再計算し、入力画像に再マッピングされた輝度と一致させる。
• 本手法により、入力画像とトレーニング画像の両方の顔領域および背景領域における輝度統計が一貫性を持つよう保証される。
• オンラインのフォアグラウンド/バックグラウンドセグメンテーションをオフラインのアルファマッティングに変換することで、効率的かつ正確なパッチ検索が可能になる。
• 本手法はプラグアンドプレイであり、既存のエキスナーベースの合成パイプラインに最小限の計算コストで直接統合可能である。
• 再トレーニングを必要とせず、側面照明や複雑な背景に対しても、照明変動に対する耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 入力画像とトレーニング画像の間で照明条件が異なる状況下でも、前処理手法がエキスナーベースの顔スケッチ合成の頑健性を向上させられるか？
• RQ2 従来の照度不変距離尺度が、パッチ内でのローカルコントラストが変化する場合に失敗する理由は何か？
• RQ3 オフラインのアルファマッティングが、パッチマッチングの効率性と正確性を向上させるためにオンラインセグメンテーションに代われるか？
• RQ4 BLRは、実世界の照明変動、側面照明、ポーズ変動に対し、顔スケッチ合成でどの程度有効か？
• RQ5 既存の最先端の合成手法にBLRを統合する際の計算コストはどの程度か？

主な発見

• CUHK、AR、FERETデータセットにおける可視的比較から、照明が不一致する挑戦的な入力に対して、BLRは顔スケッチ合成の品質を顕著に向上させている。
• 実世界の照明変動を含むFERETデータセットでは、BLRはベースライン手法と比較して、合成スケッチにおけるアーティファクトやぼやけを低減している。
• 側面照明の実験では、従来の手法が失敗する影の多い顔領域に対しても、BLRはぼやけやアーティファクトを効果的に低減している。
• ポーズ変動のシナリオでは、拡張された検索範囲を用いてもBLRは性能を向上させ、単に大きな検索空間に依存する手法を上回っている。
• 実行時間評価では、BLRが既存手法に0.2〜2.7秒の追加時間をもたらすにとどまり（例：MRFでは38.4秒→38.6秒）、計算コストがほとんど増加しないことが示された。
• クロスデータセット実験により、BLRは異なる人種や照明条件に対しても頑健であり、高品質な合成を維持していることが確認された。