[논문 리뷰] Random Sampling and Locality Constraint for Face Sketch.

Nannan Wang, Xinbo Gao외 1명|arXiv (Cornell University)|2017. 01. 08.

Face recognition and analysis인용 수 12

한 줄 요약

이 논문은 온라인 K-NN 검색을 대체하기 위해 오프라인 랜덤 샘플링과 국소성 제약을 사용하는 효율적인 얼굴 스케치 합성 방법을 제안한다. 이는 시간 소비를 크게 줄이고 합성 품질을 향상시킨다. 제안된 방법은 공개 데이터베이스에서 최신 기술 대비 뛰어난 성능을 보이며, 확장성과 계산 효율성 면에서 뛰어나다.

ABSTRACT

Face sketch synthesis plays an important role in both digital entertainment and law enforcement. It generally consists of two parts: neighbor selection and reconstruction weight representation. State-of-the-art face sketch synthesis methods perform neighbor selection online in a data-driven manner by $K$ nearest neighbor ($K$-NN) searching. However, the online search increases the time consuming for synthesis. Moreover, since these methods need to traverse the whole training dataset for neighbor selection, the computational complexity increases with the scale of the training database and hence these methods have limited scalability. In addition, state-of-the-art methods consider that all selected neighbors contribute equally to the reconstruction weight computation process while the distinct similarity between the test patch and these neighbors are neglected. In this paper, we employ offline random sampling in place of online $K$-NN search to improve the synthesis efficiency. Locality constraint is introduced to model the distinct correlations between the test patch and random sampled patches. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods, in terms of both synthesis quality and time consumption. The proposed method could be extended to other heterogeneous face image transformation problems such as face hallucination. We will release the source codes of our proposed methods and the evaluation metrics for future study online: this http URL

연구 동기 및 목표

• 최신 기술에서 얼굴 스케치 합성에 사용되는 온라인 K-NN 검색의 높은 계산 비용을 해결한다.
• 추론 시 큰 학습 데이터베이스에 의존하는 것을 줄여 확장성을 향상시킨다.
• 균일한 가중치보다 테스트 패치와 이웃 간의 다양성 있는 유사도를 더 정확히 모델링한다.
• 이질적인 얼굴 이미지 변환 작업에 대해 합성 품질과 효율성을 향상시킨다.

제안 방법

• 실시간 이웃 계산을 제거하기 위해 온라인 K-NN 검색을 오프라인 랜덤 샘플링으로 대체하여 후보 패치를 사전에 선별한다.
• 샘플된 패치의 기여도를 테스트 패치와의 유사도에 따라 가중치를 부여하는 국소성 제약 메커니즘을 도입한다.
• 샘플링의 근접도와 테스트 패치와의 유사도에 따라 결정되는 가중치 재구성 기법을 사용한다.
• 모델을 한 번만 오프라인으로 학습하고 추론 시에는 사전에 샘플된 패치를 적용하여 합성 속도를 향상시킨다.
• 국소성 제약을 통해 관련 있는 이웃을 강조하고 덜 유사한 이웃을 억제하여 재구성 정확도를 향상시킨다.
• 얼굴 홀로그래피와 같은 다른 얼굴 이미지 변환 작업으로의 확장성도 고려하여 설계되었다.

실험 결과

연구 질문

• RQ1 오프라인 랜덤 샘플링이 얼굴 스케치 합성에서 온라인 K-NN 검색을 효과적으로 대체하여 시간 소비를 줄일 수 있는가?
• RQ2 균일한 이웃 가중치 대비 국소성 제약을 통합할 경우 재구성 품질은 어떻게 향상되는가?
• RQ3 학습 데이터베이스 크기가 증가함에 따라 제안된 방법의 확장성은 어느 정도인가?
• RQ4 공개 벤치마크에서 최신 기술 대비 합성 품질이 유지되거나 향상되는가?
• RQ5 이 방법은 다른 이질적인 얼굴 이미지 번역 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 온라인 K-NN 검색을 제거함으로써 최신 기술 대비 더 빠른 합성 시간을 달성한다.
• 표준 평가 지표로 측정된 공개 얼굴 스케치 데이터베이스에서 합성 품질이 향상된다.
• 학습 데이터셋 크기가 커져도 계산 비용이 증가하지 않아 확장성 면에서 뛰어나다.
• 국소성 제약는 테스트 패치와 이웃 간의 상이한 유사도를 효과적으로 모델링하여 더 정확한 재구성 결과를 이끈다.
• 이 방법은 얼굴 홀로그래피와 같은 다른 얼굴 이미지 변환 작업에도 적용 가능하다.
• 소스 코드와 평가 지표는 향후 연구를 위해 온라인으로 공개될 예정이다.