[논문 리뷰] From A Glance to "Gotcha": Interactive Facial Image Retrieval with Progressive Relevance Feedback

Xinru Yang, Haozhi Qi외 2명|arXiv (Cornell University)|2020. 07. 30.

Image Retrieval and Classification Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 사용자가 범죄적 맥락에서 정신적 상상 속의 용의자에 대해 점진적 관련성 피드백을 통해 점진적으로 자신의 인식을 정교화할 수 있도록 돕는 엔드 투 엔드 인터랙티브 얼굴 이미지 검색 프레임워크를 제안한다. CelebA에서 SE-ResNet의 딥 페처를 활용하면서 점진적으로 피드백을 공개함으로써, 전체 공개 설정보다 우수한 성능을 기록하며 단지 낮은 수준의 애너테이션 비용으로도 98.66%의 랭킹 퍼센티르를 달성한다.

ABSTRACT

Facial image retrieval plays a significant role in forensic investigations where an untrained witness tries to identify a suspect from a massive pool of images. However, due to the difficulties in describing human facial appearances verbally and directly, people naturally tend to depict by referring to well-known existing images and comparing specific areas of faces with them and it is also challenging to provide complete comparison at each time. Therefore, we propose an end-to-end framework to retrieve facial images with relevance feedback progressively provided by the witness, enabling an exploitation of history information during multiple rounds and an interactive and iterative approach to retrieving the mental image. With no need of any extra annotations, our model can be applied at the cost of a little response effort. We experiment on exttt{CelebA} and evaluate the performance by ranking percentile and achieve 99\% under the best setting. Since this topic remains little explored to the best of our knowledge, we hope our work can serve as a stepping stone for further research.

연구 동기 및 목표

• 사용자의 마음속에만 존재하는 정신적 상상 속의 대상에 대해, 특히 형사적 맥락에서 얼굴 이미지 검색의 과제를 해결하기 위해.
• 사전에 이미지 레이블링이 필요로 하는 고비용 수동 애너테이션에 의존도를 줄이기 위해, 사전 레이블링 없이도 즉각적인 속성 기반 관련성 피드백을 가능하게 하기 위해.
• 다중 라운드에 걸쳐 점진적으로 피드백을 공개함으로써 인간과 유사한 인식 행동을 모델링하기 위해.
• 감독 기반의 인터랙티브 학습 프레임워크에서 이미지 피처와 속성 표현을 통합함으로써 검색 정확도를 향상시키기 위해.

제안 방법

• 시스템은 SE-ResNet에서 유도된 이미지 임베딩과 속성 벡터를 융합하는 딥 러닝 기반 프레임워크를 사용하여 얼굴 이미지를 표현한다.
• 관련성 피드백이 점진적으로 공개되는 점진적 공개 메커니즘을 사용하며, 초기에는 마스킹된 피드백에서 시작하여 시간이 지남에 따라 투명도를 증가시킨다.
• 각 후보 이미지가 제시된 후 실시간으로 관련성 피드백을 수집하며, 사용자는 '안경 착용' 대비 '안경 미착용' 등의 속성 수준 비교를 통해 차이를 제시한다.
• 대조 손실을 사용하여 엔드 투 엔드로 학습하며, 목표 이미지를 검색 목록에서 더 높게 랭킹하도록 최적화한다.
• 특징 추출은 VGGFace2에서 사전 훈련된 후 CelebA에서 미세조정된 SE-ResNet을 사용하여 속성 인식 기반 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 공개 대비 점진적 피드백 공개 방식이 얼굴 이미지 검색 성능 향상에 기여하는가?
• RQ2 딥 이미지 피처와 속성 기반 피드백의 통합이 인터랙티브 환경에서 검색 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크는 데이터셋에 대한 수동 애너테이션 없이도 높은 성능을 달성하는가?
• RQ4 모델의 성능가 인간과 유사한 얼굴 비교 인식 진행 과정을 어느 정도 반영하는가?

주요 결과

• 점진적 공개 메커니즘이 최고의 성능을 기록하였으며, CelebA 데이터셋에서 최종 랭킹 퍼센티르는 98.66%였다.
• 점진적 공개 하에서 5라운드에서 테스트 손실은 0.0297을 기록하였고, 이는 전체 공개 방식에서의 0.0589보다 유의미하게 낮았다.
• CelebA에서 미세조정된 SE-ResNet 피처를 사용할 경우 가장 높은 성능(98.66% 퍼센티르)을 기록하였으며, OpenFace(87.02%)와 VGGFace2에서의 SE-ResNet(95.80%)를 모두 능가했다.
• 3라운드에서 4라운드 사이에 일치하는 속성 수가 37개에서 34개로 감소했음에도 불구하고, 4라운드의 후보 이미지는 시각적으로 더 나은 매칭을 보였으며, 이는 피처 융합이 속성 수를 초월해 성능 향상에 기여함을 시사한다.
• 남성 대상의 경우 일반적으로 3라운드 내로 수렴하였고, 여성 대상은 후속 정밀 조정이 가능했으며, 이는 데이터셋 내에서 여성의 얼굴 다양성이 더 높기 때문일 것이다.