[논문 리뷰] Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval

Ayan Kumar Bhunia, Yongxin Yang외 3명|arXiv (Cornell University)|2020. 02. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 50인용 수 12

한 줄 요약

이 논문은 스케치를 그는 동안 최소한의 스트로크로 목표 사진을 빠르게 검색할 수 있도록, 전체 스케칭 과정 동안 참조 사진의 순위를 최적화하는 강화학습 기반의 실시간 미세조정 스케치 기반 이미지 검색(FG-SBIR) 프레임워크를 제안한다. 새로운 보상 설계를 통해 초기 검색 성능과 순위 일관성을 동시에 확보하여, 두 개의 공개 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 노이즈가 있는 스트로크에 대해서도 뛰어난 일관성과 강건성을 확보하였다.

ABSTRACT

Fine-grained sketch-based image retrieval (FG-SBIR) addresses the problem of retrieving a particular photo instance given a user's query sketch. Its widespread applicability is however hindered by the fact that drawing a sketch takes time, and most people struggle to draw a complete and faithful sketch. In this paper, we reformulate the conventional FG-SBIR framework to tackle these challenges, with the ultimate goal of retrieving the target photo with the least number of strokes possible. We further propose an on-the-fly design that starts retrieving as soon as the user starts drawing. To accomplish this, we devise a reinforcement learning-based cross-modal retrieval framework that directly optimizes rank of the ground-truth photo over a complete sketch drawing episode. Additionally, we introduce a novel reward scheme that circumvents the problems related to irrelevant sketch strokes, and thus provides us with a more consistent rank list during the retrieval. We achieve superior early-retrieval efficiency over state-of-the-art methods and alternative baselines on two publicly available fine-grained sketch retrieval datasets.

연구 동기 및 목표

• 미세조정 스케치 기반 이미지 검색(FG-SBIR)에서 발생하는 실용적 장벽, 즉 완전한 스케치를 그리는 데 소요되는 시간과 사용자가 정확하게 스케치하는 데 어려움을 해결하기 위해.
• FG-SBIR 문제를 스케칭 도중 가능한 한 일찍 목표 사진을 검색하는 실시간 검색 문제로 재정의하여, 필요한 스트로크 수를 최소화하기 위해.
• 스케칭 완료 과정에서 노이즈가 있거나 관련이 없는 스트로크가 추가되어도 일관되고 정확한 사진 순위 유지 학습 프레임워크 개발을 위해.
• 기존의 트리플릿 손실이나 고정된 임bedding 학습에 의존하지 않고, 전체 스케칭 에피소드 동안 참조 사진의 순위를 직접 최적화하여 검색 효율성과 강건성을 향상시키기 위해.

제안 방법

• 프레임워크는 각 스트로크 렌더링 단계에서 참조 사진의 순위를 최적화하는 강화학습(RL) 파이프라인을 사용하며, 스케칭 에피소드 전반에 걸쳐 1/순위의 합을 최대화한다.
• 새로운 보상 함수는 두 가지 구성 요소를 결합한다: (1) 1/순위 기반 局소 보상은 초기 검색을 장려하고, (2) 정규화된 켄달-타우 거리 기반 글로벌 보상은 시간 단계 간의 순위 일관성을 확보한다.
• 모델은 각 스트로크 렌더링 단계에서 래스터라이즈된 스케치 이미지로부터 특징 임베딩을 생성하기 위해 CNN 기반 스케치 인코더를 사용하여 순차적 표현 학습을 가능하게 한다.
• 강화학습의 액터-크리틱 아키텍처는 각 상태에서의 기대 수익을 추정하는 크리틱과, 누적 보상을 최대화하기 위해 행동(예: 임베딩 업데이트)을 선택하는 정책을 학습한다.
• 보상 함수는 연속적인 순위 목록 간의 켄달-타우 거리에 대해 단조 감소 제약 조건을 포함하여, 후속 노이즈 스트로크로 인한 성능 저하를 줄이고 학습을 안정화시킨다.
• 기존의 트리플릿 손실이 각 스케치를 독립적인 예시로 다루는 데 반해, 이 프레임워크는 전체 스케칭 경로를 고려하는 비-미래지향적이고 시퀀스 인식 최적화를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 강화학습 기반 프레임워크가 스케칭 시퀀스 전반에 걸쳐 참조 사진의 순위를 최적화함으로써, 미세조정 스케치 기반 이미지 검색(FG-SBIR)에서 뛰어난 초기 검색 성능를 달성할 수 있는가?
• RQ2 사용자가 스케칭 완료 과정에서 노이즈 또는 관련 없는 스트로크를 추가할 경우에도, 초기 검색과 순위 일관성을 균형 있게 유지할 수 있도록 보상 함수를 어떻게 설계할 수 있는가?
• RQ3 켄달-타우 거리 기반 글로벌 일관성 손실을 통합함으로써, 후속 스케칭 단계에서 순위가 불일치하거나 악화되는 경우에 대한 강건성이 향상되는가?
• RQ4 기존의 완전한 스케치가 필요하거나 트리플릿 손실로 훈련되는 FG-SBIR 모델과 비교해 본다면, 제안된 실시간 프레임워크는 어떤가?
• RQ5 모델은 스트로크 순서와 사용자 스케칭 행동의 변동에 대해 어느 정도 강건한가?

주요 결과

• 제안된 방법은 Chair-V2 데이터셋에서 m@A 85.44%와 Shoe-V2 데이터셋에서 m@A 85.38%를 기록하여, 초기 검색 효율성에서 최신 기술 수준의 베이스라인을 초월하였다.
• 글로벌 보상 항목이 포함됨에 따라 Chair-V2에서 스트로크-백래시 지수는 0.0421에서 0.0304로, Shoe-V2에서는 0.0451에서 0.0337로 감소하여 노이즈 스트로크 상황에서도 순위 일관성이 향상됨을 나타냈다.
• 글로벌 보상은 Chair-V2에서 m@A를 1.11%, m@B를 1.31% 향상시켰고, Shoe-V2에서는 각각 0.98%와 0.90% 향상시켜 성능 안정화 효과를 입증하였다.
• 64차원의 임베딩 공간에서 최고의 성능을 기록하였으며, Chair-V2에서 m@A 85.44%, Shoe-V2에서 m@A 85.38%를 달성하였고, 더 큰 또는 더 작은 차원에서는 성능 저하가 발생하였다.
• CNN 기반 스케치 인코더를 RNN 기반 시퀀스 모델(예: LSTM)로 교체할 경우, 상위 5개 정확도가 Chair-V2에서 19.62%로, Shoe-V2에서 15.34%로 크게 감소하여, 래스터라이즈된 스케치 표현에 대해 CNN의 우월성을 입증하였다.
• 스트로크 순서를 무작위로 섞어도 모델은 강력한 성능(m@A: 85.04%, m@B: 34.84%)을 유지하여 사용자 고유의 스케칭 패턴에 대한 강건성을 확인하였다.