[논문 리뷰] Random Sampling for Fast Face Sketch Synthesis

Nannan Wang, Xinbo Gao외 1명|arXiv (Cornell University)|2017. 01. 08.

Face recognition and analysis참고 문헌 26인용 수 8

한 줄 요약

이 논문은 RSLCR를 제안하며, 온라인 K-최근접 이웃(K-NN) 검색을 오프라인 랜덤 샘플링으로 대체하여 계산 시간을 크게 줄이고도 높은 합성 품질을 유지하는 빠른 얼굴 스케치 합성 방법을 제공한다. 사전에 학습 패치를 샘플링하고 유사한 사진 패치가 유사한 복원 가중치를 받도록 국소성 제약을 적용함으로써, 공개 벤치마크에서 최고 수준의 속도와 경쟁력 있는 성능을 달성한다.

ABSTRACT

Exemplar-based face sketch synthesis plays an important role in both digital entertainment and law enforcement. It generally consists of two parts: neighbor selection and reconstruction weight representation. The most time-consuming or main computation complexity for exemplar-based face sketch synthesis methods lies in the neighbor selection process. State-of-the-art face sketch synthesis methods perform neighbor selection online in a data-driven manner by $K$ nearest neighbor ($K$-NN) searching. Actually, the online search increases the time consuming for synthesis. Moreover, since these methods need to traverse the whole training dataset for neighbor selection, the computational complexity increases with the scale of the training database and hence these methods have limited scalability. In this paper, we proposed a simple but effective offline random sampling in place of online $K$-NN search to improve the synthesis efficiency. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods, in terms of both synthesis quality and time consumption. The proposed method could be extended to other heterogeneous face image transformation problems such as face hallucination. We release the source codes of our proposed methods and the evaluation metrics for future study online: http://www.ihitworld.com/RSLCR.html.

연구 동기 및 목표

• 예시 기반 얼굴 스케치 합성에서 온라인 K-NN 이웃 선택의 높은 계산 비용을 해결하기 위해.
• 학습 데이터베이스 크기가 증가함에 따라 얼굴 스케치 합성 방법의 확장성을 향상시키기 위해.
• 유의미하게 감소된 추론 시간 동안 합성 품질을 유지하거나 향상시키기 위해.
• 얼굴 홀로그래피와 같은 이종 얼굴 이미지 변환 작업으로의 확장이 가능한 프레임워크를 개발하기 위해.

제안 방법

• 온라인 K-NN 검색을 오프라인 랜덤 샘플링 전략으로 대체하여 사전에 후보 사진 및 스케치 패치를 선별한다.
• 유사한 사진 패치가 선형 조합에서 유사한 복원 가중치를 받도록 국소성 제약을 적용한다.
• 가중치 선형 복원 모델을 사용한다: ∑wᵢ = 1 및 wᵢ ≥ 0 조건 하에 ||x - Xw||²₂를 최소화하며, 여기서 x는 테스트 패치이고 X는 샘플된 학습 사진 패치의 행렬이다.
• 공간적으로 인접한 패치 간 복원 가중치의 매끄러움을 강제하기 위해 최적화에 국소성 정규화 항을 도입한다.
• 샘플링 및 가중치 계산 과정을 한 번만 오프라인으로 학습하여 합성 중 빠른 추론을 가능하게 한다.
• 더 큰 속도 향상을 위해 샘플링 및 가중치 계산을 최적화한 Fast-RSLCR로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 온라인 K-NN 검색을 오프라인 랜덤 샘플링으로 대체해도 합성 품질이 떨어지지 않을까?
• RQ2 복원 가중치에 국소성 제약을 적용하면 합성 품질과 강인성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 최신 기술(SOTA) 방법에 비해 추론 시간을 얼마나 줄이는가?
• RQ4 이 프레임워크는 얼굴 홀로그래피와 같은 다른 얼굴 이미지 변환 작업으로 일반화될 수 있는가?
• RQ5 일조 조건 변화나 얼굴 변형과 같은 도전적인 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• RSLCR는 CUFS 데이터베이스에서 평균 SSIM 점수 55.72%를 기록하여 비교된 모든 SOTA 방법보다 높은 성능을 달성했으며, CUFSF 데이터베이스에서는 44.96%를 기록했다.
• Fast-RSLCR는 추론 시간을 크게 줄여, 평가된 모든 접근 방식 중에서 가장 효율적인 방법이 되었다.
• CUFSF 데이터베이스에서 RSLCR는 NLDA를 사용해 75.94%의 최고 수준의 얼굴 인식 정확도를 달성하여 모든 다른 방법을 능가했다.
• 더 높은 SSIM 점수에도 불구하고 SSD는 더 많은 얼굴 변형(예: 왜곡된 입 부분)을 유발하여 MWF보다 낮은 얼굴 인식 정확도를 보였다.
• RSLCR의 국소성 제약은 특히 고도로 무늬가 있는 영역에서 복원 일관성을 향상시키고 아티팩트를 감소시켰다.
• 오프라인 샘플링 전략은 학습 데이터셋 크기가 증가함에 따라 성능 저하 없이 확장 가능한 합성을 가능하게 했다.