[논문 리뷰] Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval

Ayan Kumar Bhunia, Subhadeep Koley외 5명|arXiv (Cornell University)|2022. 03. 28.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 자유형 스케치에서 노이즈가 많고 관련성이 없는 스트로크를 식별하고 제거하여 세분화된 스케치 기반 이미지 검색(FG-SBIR) 성능을 향상시키는 강화학습 기반 스트로크 부분집합 선택기(Stroke Subset Selector)를 제안한다. 사전에 훈련된 FG-SBIR 모델에 입력하기 전에 검색에 가장 관련성이 높은 스트로크만 선택함으로써, 기존의 베이스라인 대비 8%-10%의 성능 향상을 달성하고 새로운 최고의 성능를 기록하며, 실시간 검색과 노이즈에 대한 저항성까지 확보한다.

ABSTRACT

Sketching enables many exciting applications, notably, image retrieval. The fear-to-sketch problem (i.e., "I can't sketch") has however proven to be fatal for its widespread adoption. This paper tackles this "fear" head on, and for the first time, proposes an auxiliary module for existing retrieval models that predominantly lets the users sketch without having to worry. We first conducted a pilot study that revealed the secret lies in the existence of noisy strokes, but not so much of the "I can't sketch". We consequently design a stroke subset selector that {detects noisy strokes, leaving only those} which make a positive contribution towards successful retrieval. Our Reinforcement Learning based formulation quantifies the importance of each stroke present in a given subset, based on the extent to which that stroke contributes to retrieval. When combined with pre-trained retrieval models as a pre-processing module, we achieve a significant gain of 8%-10% over standard baselines and in turn report new state-of-the-art performance. Last but not least, we demonstrate the selector once trained, can also be used in a plug-and-play manner to empower various sketch applications in ways that were not previously possible.

연구 동기 및 목표

• 사용자가 스케치 능력에 대한 우려로 스케치를 그릴 것을 꺼리는 '스케치를 그릴까 봐 두려운' 문제를 해결한다.
• 실제 문제의 핵심은 스케치의 품질 자체가 아니라, 검색 성능을 떨어뜨리는 노이즈가 많고 관련성이 없는 스트로크의 존재임을 규명한다.
• 스케치에서 가장 정보량이 많은 스트로크만 선택하는 사전 처리 모듈을 개발하여 검색 정확도를 향상시킨다.
• 재훈련 없이도 다양한 스케치 응용 프로그램에 즉시 통합할 수 있도록 플러그 앤 플레이 방식의 배포를 가능하게 한다.
• 사전에 훈련된 검색 모델과 결합함으로써 FG-SBIR 분야에서 최고의 성능를 달성한다.

제안 방법

• 스트로크의 구성적 구조와 관계를 모델링하기 위해 계층적 순환 신경망(RNN)을 설계하며, 여기서 LSTM 유닛을 사용한다.
• 스트로크 부분집합 선택 문제를 강화학습(RL) 문제로 공식화하여, 에이전트가 각 스트로크가 검색 성능에 기여하는 정도에 따라 선택 또는 기각하는 방식으로 학습한다.
• 사전에 훈련된 FG-SBIR 모델을 보상 함수 평가기로 활용하여, 선택된 스트로크 부분집합이 정답 이미지를 얼마나 잘 검색하는지에 대한 밀도 높은 피드백을 제공한다.
• 안정적인 훈련과 샘플 효율성 향상을 위해 클리핑된 서로서티 목표 함수를 사용하는 액터-크리틱 프록시 정책 최적화(PPO) 프레임워크를 적용한다.
• 순위 성능(상위-k 정확도)과 특징 임베딩 손실(트리플릿 손실)을 결합한 다중 목적 보상 함수를 도입하여, 정확한 순위 매기기와 구별 가능한 표현을 동시에 유도한다.
• 선택된 스트로크 부분집합을 래스터라이제이션한 후 사전에 훈련된 FG-SBIR 모델에 입력하며, 비가역적인 래스터라이제이션 과정은 강화학습 정책 기울기 방법으로 처리한다.

Figure 1 : (a) While the average ranking percentile increases as the sketching proceeds from starting towards completion, unwanted sudden drops have been noticed for many individual sketches due to noisy/irrelevant strokes drawn. (b) The same thing is visualised with number of samples in the third a

실험 결과

연구 질문

• RQ1 노이즈가 많은 스케치에서 가장 관련성이 높은 스트로크만 선택하는 사전 처리 모듈이 FG-SBIR 성능을 크게 향상시킬 수 있는가?
• RQ2 스케치 기술 향상 대신 노이즈 스트로크를 제거하는 것이 스케치 기반 이미지 검색에서 열악한 성능의 근본 원인을 해결하는가?
• RQ3 강화학습 기반 스트로크 부분집합 선택기가 실시간 스케치 검색에서 표준 데이터 증강 및 미세조정 전략을 능가할 수 있는가?
• RQ4 제안된 선택기가 합성 노이즈와 실제 세계의 스케치 노이즈를 얼마나 잘 일반화하여 처리할 수 있는가?
• RQ5 스트로크의 계층적 모델링 방식이 평면적 순서 모델링 방식보다 검색 성능와 내성에 있어 어떤가?

주요 결과

• 제안된 스트로크 부분집합 선택기는 표준 베이스라인 대비 상위-1 정확도를 8%-10% 향상시켜 QMUL-Shoe-V2 데이터셋에서 새로운 최고의 성능를 기록한다.
• 합성 노이즈 조건에서 시험한 결과, 선택기 없이 사용할 경우 상위-1 정확도가 13.4%에서 선택기를 사용할 경우 37.2%로 향상되어 강력한 노이즈 내성 능력을 입증한다.
• 실시간 검색에서 비정보성 있는 부분 스케치를 필터링함으로써, 래스터라이제이션 및 추론 단계의 수를 평균 42.2% 감소시킨다.
• 실시간 성능는 r@A = 85.78, r@B = 21.1로 경쟁적인 성능를 기록하며, 이는 이전의 RL 미세조정 기반 베이스라인(85.38, 21.24)을 초월한다.
• 단일 레이어 양방향 LSTM보다 계층적 LSTM을 사용할 경우 상위-1 정확도에서 4.9% 향상되어 스트로크의 구성적 구조를 모델링하는 것이 중요함을 확인한다.
• 클리핑된 서로서티 목표 함수를 사용하는 PPO 액터-크리틱 구조가 액터 전용 변형 대비 상위-1 정확도를 1.7% 향상시키며, 부분 스케치 검색 능력을 모델링할 수 있도록 한다.

Figure 2 : Illustration of Noise Tolerant FG-SBIR framework. Stroke Subset Selector $\mathcal{X(\cdot)}$ acts as a pre-processing module in the sketch vector space to eliminate the noisy strokes. Selected stroke subset is then rasterized and fed through an existing pre-trained FG-SBIR model for rewa