[논문 리뷰] Face Sketch Synthesis Style Similarity:A New Structure Co-occurrence Texture Measure

Deng-Ping Fan, Shengchuan Zhang외 5명|arXiv (Cornell University)|2018. 04. 09.

Face recognition and analysis참고 문헌 41인용 수 10

한 줄 요약

이 논문은 얼굴 스케치 합성에서 블록 수준의 공간적 구조와 동시 발생 텍스처 통계를 종합적으로 평가하는 새로운 스타일 유사도 측정법인 Scoot-measure를 제안한다. 이는 인간의 판단과의 정렬을 크게 향상시키며, 인간 인지와 78.8%의 상관관계를 기록하여 이전 최고 성능 측정법(58.6%)을 크게 초월한다. 또한 FSS 알고리즘에 대한 강력하고 신뢰할 수 있는 평가 프레임워크를 제공한다.

ABSTRACT

Existing face sketch synthesis (FSS) similarity measures are sensitive to slight image degradation (e.g., noise, blur). However, human perception of the similarity of two sketches will consider both structure and texture as essential factors and is not sensitive to slight ("pixel-level") mismatches. Consequently, the use of existing similarity measures can lead to better algorithms receiving a lower score than worse algorithms. This unreliable evaluation has significantly hindered the development of the FSS field. To solve this problem, we propose a novel and robust style similarity measure called Scoot-measure (Structure CO-Occurrence Texture Measure), which simultaneously evaluates "block-level" spatial structure and co-occurrence texture statistics. In addition, we further propose 4 new meta-measures and create 2 new datasets to perform a comprehensive evaluation of several widely-used FSS measures on two large databases. Experimental results demonstrate that our measure not only provides a reliable evaluation but also achieves significantly improved performance. Specifically, the study indicated a higher degree (78.8%) of correlation between our measure and human judgment than the best prior measure (58.6%). Our code will be made available.

연구 동기 및 목표

• 픽셀 수준의 노이즈와 블러에 과도하게 민감한 기존 얼굴 스케치 합성(FSS) 유사도 측정법의 신뢰성 부족 문제를 해결한다.
• SSIM, FSIM, VIF, GMSD와 같은 기존 측정법이 픽셀 수준의 열악한 품질에 집중함으로써 인간 인지와의 일치도가 떨어지는 한계를 극복한다.
• 블록 수준의 구조와 동시 발생 텍스처 특징을 통합하여 종합적인 콘텐츠 및 스타일 유사도를 포괄하는 새로운 평가 측정법을 개발한다.
• 776장과 1,888장의 이미지를 각각 포함하는 두 개의 새로운 인간 레이블링 데이터셋을 구축하여 FSS 평가에 대한 신뢰할 수 있는 벤치마크를 설정한다.
• 스케치에서 스타일 유사도 평가에 있어, 픽셀 수준 또는 에지 기반 특징보다 동시 발생 텍스처 통계가 더 유용하다는 것을 입증한다.

제안 방법

• Scoot-measure(구조 동시 발생 텍스처 측정법)를 제안하며, 이는 두 단계 평가 프레임워크로 구성된다. 첫 번째 단계는 입력 스케치를 이산적 등급으로 정량화하는 것으로, 이후 블록 수준의 공간적 구조를 분석한다.
• 스케치 내 비중첩 블록 간의 텍스처 패턴 쌍 빈도를 계산하여 동시 발생 텍스처 통계를 추출한다.
• 가중치 융합 전략을 사용하여 블록 수준의 구조 일관성과 동시 발생 텍스처 유사도를 통합하여 유사도 점수를 도출한다.
• 메트릭 성능을 평가하기 위해 네 가지 메타 측정법(MM1–MM4)을 설계한다: 리사이징/회전에 대한 내성(비교 MM1, MM2), 콘텐츠 보존 능력(비교 MM3), 인간 판단과의 상관관계(비교 MM4).
• 776개의 인간 순위가 매겨진 스케치 쌍으로 구성된 새로운 데이터셋과 더 큰 1,888장의 이미지 데이터셋을 활용하여 다양한 FSS 알고리즘에 대한 메트릭의 유효성을 검증한다.
• Canny, Sobel, Gabor, GLRLM 등 14종의 다른 특징 세트와의 비교를 통해 동시 발생 텍스처 모델링의 우월성을 입증한다.

실험 결과

연구 질문

• RQ1 기존 FSS 유사도 측정법이 픽셀 수준의 잡음에 민감하여 인간 인지와의 상관관계가 떨어지는 정도는 어느 정도인가?
• RQ2 블록 수준의 구조와 동시 발생 텍스처 통계를 동시에 모델링하는 메트릭이 스케치에서 인간의 스타일 유사도를 더 잘 반영할 수 있는가?
• RQ3 Scoot-measure는 리사이징 및 회전과 같은 이미지 변형에 대해 기존 메트릭보다 얼마나 더 강건한가?
• RQ4 다양한 텍스처 및 에지 기반 특징이 FSS 평가 메트릭의 성능에 어떤 영향을 미치는가?
• RQ5 쌍별 동시 발생 텍스처 패턴을 통합함으로써 자동화된 메트릭과 인간 판단 간의 상관관계가 유의미하게 향상되는가?

주요 결과

• Scoot-measure는 더 큰 인간 레이블링 데이터셋에서 인간 판단과 78.8%의 상관관계를 기록하여, 이전 최고 성능 메트릭(58.6%)을 크게 뛰어넘었다.
• 이미지 변형에 대해 매우 강건한 성능을 보이며, 리사이징 및 회전에 대한 내성 평가(MM1, MM2)에서 높은 저항성을 입증했다.
• 콘텐츠 보존 능력이 크게 향상되었으며, CUFSF 데이터셋에서 MM3(콘텐츠 일관성)의 정확도가 97.5%에 이르렀다.
• 기타 특징 중 GLRLM과 Gabor만 중간 수준의 성능을 보였고, Canny와 Sobel은 콘텐츠 보존 능력이나 인간 인지와의 일치도에서 실패했다.
• 쌍별 동시 발생 텍스처 통계의 통합으로, 다음으로 우수한 방법(GMSD) 대비 인간 상관관계가 20.2% 향상되었다.
• CE(동시 발생 에지) 특징을 포함한 제안된 Scoot-measure는 모든 메타 측정법에서 최고 성능을 기록하였으며, 통계적으로 유의미한 향상(p < 0.05)을 보였다.