[논문 리뷰] Fast Preprocessing for Robust Face Sketch Synthesis

Yibing Song, Jiawei Zhang외 2명|arXiv (Cornell University)|2017. 08. 01.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 입력 이미지와 훈련 이미지의 조명 조건이 다를 경우에도 강건한 예시 기반 얼굴 스케치 합성 성능을 향상시키기 위해 양방향 빛의 세기 재조정(Bidirectional Luminance Remapping, BLR)을 제안한다. BLR는 입력 이미지와 훈련 이미지의 조명을 동시에 조정함으로써, 다양한 데이터셋과 조명 조건에서도 낮은 계산 비용으로 정확한 K-NN 패치 매칭을 가능하게 하며, 이로 인해 스케치 품질이 향상된다.

ABSTRACT

Exemplar-based face sketch synthesis methods usually meet the challenging problem that input photos are captured in different lighting conditions from training photos. The critical step causing the failure is the search of similar patch candidates for an input photo patch. Conventional illumination invariant patch distances are adopted rather than directly relying on pixel intensity difference, but they will fail when local contrast within a patch changes. In this paper, we propose a fast preprocessing method named Bidirectional Luminance Remapping (BLR), which interactively adjust the lighting of training and input photos. Our method can be directly integrated into state-of-the-art exemplar-based methods to improve their robustness with ignorable computational cost.

연구 동기 및 목표

• 입력 이미지와 훈련 이미지 간의 조명 조건이 다를 경우 예시 기반 얼굴 스케치 합성의 실패 문제를 해결하기 위해.
• 패치 간 局부 대trast 변화가 발생할 경우 작동하지 않는 조명에 강인한 거리 측정 기준의 한계를 극복하기 위해.
• 입력 이미지와 훈련 이미지의 얼굴 영역과 비얼굴 영역에서 빛의 세기 통계를 정렬함으로써 K-NN 패치 매칭 정확도를 향상시키기 위해.
• 기존 최첨단 방법에 쉽게 통합할 수 있도록 최소한의 런타임 오버헤드를 유도하기 위해.
• 실생활 조명, 측면 조명, 자세 변화 등 다양한 데이터셋에서 강건한 성능을 달성하기 위해.

제안 방법

• BLR는 훈련 이미지의 빛의 세기 통계를 기반으로 입력 이미지의 전역 빛의 세기 재조정을 수행하며, 이는 입력 이미지의 얼굴 영역 통계에만 의존한다.
• 오프라인 훈련에서 사전 계산된 알파 매트를 사용하여 훈련 이미지의 비얼굴 영역을 재계산함으로써, 입력 이미지의 재조정된 빛의 세기와 일치시킨다.
• 이 방법은 입력 이미지와 훈련 이미지 간에 얼굴 영역과 배경 영역의 일관된 빛의 세기 통계를 보장한다.
• 온라인 전경/배경 분할을 오프라인 알파 매트로 전환함으로써 BLR는 효율적이고 정확한 패치 검색을 가능하게 한다.
• 이 방법은 플러그 앤 플레이 방식으로, 기존 예시 기반 합성 파이프라인에 최소한의 계산 비용으로 직접 통합될 수 있다.
• 재훈련이 필요 없이 측면 조명 및 복잡한 배경과 같은 조명 변화에 대해 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력 이미지와 훈련 이미지 간의 조명 조건이 다를 경우, 사전 처리 방법이 예시 기반 얼굴 스케치 합성의 강건성을 향상시킬 수 있는가?
• RQ2 기존의 조명에 강인한 거리 측정 기준은 왜 패치 내 局부 대trast가 변화할 경우 실패하는가?
• RQ3 오프라인 알파 매트가 온라인 분할을 대체하여 패치 매칭의 효율성과 정확도를 향상시킬 수 있는가?
• RQ4 BLR는 실생활 조명 변화, 측면 조명, 자세 변화와 같은 상황에서 얼굴 스케치 합성에 얼마나 효과적인가?
• RQ5 기존 최첨단 합성 방법에 BLR를 통합할 경우 계산 오버헤드는 어느 정도인가?

주요 결과

• CUHK, AR, FERET 데이터셋에서의 시각적 비교를 통해, BLR는 조명이 맞지 않는 도전적인 입력에 대해 스케치 합성 품질을 크게 향상시킨다.
• 실생활 조명 변화가 있는 FERET 데이터셋에서 BLR는 기준 방법 대비 합성 스케치의 잡음과 흐림을 감소시킨다.
• 측면 조명 실험에서 BLR는 존재하는 방법이 실패하는 그림자 영역의 흐림과 잡음을 효과적으로 줄였다.
• 자세 변화에 대한 실험에서 BLR는 확장된 검색 범위를 사용할 때조차 성능을 향상시켰으며, 단지 더 큰 검색 공간에 의존하는 방법을 능가했다.
• 런타임 평가 결과, BLR는 기존 방법에 0.2~2.7초의 추가 시간만을 유발하며(예: MRF의 경우 38.4s → 38.6s), 계산 비용이 극히 낮음을 입증했다.
• 다양한 인종과 조명 조건을 포함한 교차 데이터셋 실험을 통해 BLR의 강건성이 입증되었으며, 높은 품질의 합성 결과를 유지했다.