[논문 리뷰] More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval
이 논문은 제한된 레이블이 부여된 데이터에도 불구하고 성능을 향상시키기 위해 대규모 비라벨 사진을 활용해 가짜 스케치-사진 쌍을 생성하는 새로운 준지도 학습 프레임워크를 제안한다. 사진에서 스케치로의 변환 모델과 검색 모델을 함께 훈련시키며, 판별자 유도 인스턴스 가중치와 지식 정복을 통해 성능을 향상시켜 QMUL-ShoeV2에서 감독 기반 모델 대비 Acc@1을 8.0% 향상시켰다.
A fundamental challenge faced by existing Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) models is the data scarcity -- model performances are largely bottlenecked by the lack of sketch-photo pairs. Whilst the number of photos can be easily scaled, each corresponding sketch still needs to be individually produced. In this paper, we aim to mitigate such an upper-bound on sketch data, and study whether unlabelled photos alone (of which they are many) can be cultivated for performances gain. In particular, we introduce a novel semi-supervised framework for cross-modal retrieval that can additionally leverage large-scale unlabelled photos to account for data scarcity. At the centre of our semi-supervision design is a sequential photo-to-sketch generation model that aims to generate paired sketches for unlabelled photos. Importantly, we further introduce a discriminator guided mechanism to guide against unfaithful generation, together with a distillation loss based regularizer to provide tolerance against noisy training samples. Last but not least, we treat generation and retrieval as two conjugate problems, where a joint learning procedure is devised for each module to mutually benefit from each other. Extensive experiments show that our semi-supervised model yields significant performance boost over the state-of-the-art supervised alternatives, as well as existing methods that can exploit unlabelled photos for FG-SBIR.
연구 동기 및 목표
- 레이블이 부여된 스케치-사진 쌍이 제한적이고 수집에 비용이 많이 들기 때문에, 세분화된 스케치 기반 이미지 검색(FG-SBIR)에서의 심각한 데이터 부족 문제를 해결한다.
- 수백만 개의 쉽게 확보할 수 있는 대규모 비라벨 사진이, 쌍으로 구성된 스케치가 필요 없이 FG-SBIR 성능 향상에 기여할 수 있는지 탐구한다.
- 스케치 생성과 검색이 상호 보완적인 피드백 신호를 통해 상호 이점이 되는 공동 학습 프레임워크를 개발한다.
- 노이즈가 많고 정확도가 떨어지는 스케치 생성 문제를 해결하기 위해 신뢰도 점수와 노이즈 내성 메커니즘을 도입한다.
- 생성과 검색을 통합한 기울기 기반 강화 학습을 활용한 유연하고 종단 간(end-to-end) 훈련 파이프라인을 설계한다.
제안 방법
- 비라벨 사진에서 고해상도 유지 및 다중모달 2D 어텐션 메커니즘을 갖춘 순차적 사진-스케치 생성자(Generator)를 제안하여 고정밀도의 세분화된 스케치를 생성한다.
- 생성된 스케치-사진 쌍의 신뢰도를 평가하는 판별자(D_C)를 도입하며, 이는 검색 훈련 중 트리플릿 손실에 대한 인스턴스별 가중치로 사용되는 신뢰도 점수를 출력한다.
- 相대적 티처-스터디 프레임워크 기반 지식 정복 손실을 적용하여 검색 모델을 정규화하고 노이즈가 많은 가짜 쌍에 대한 내성 강도를 향상시킨다.
- 검색 모델과 판별자로부터의 보상 신호를 역전파하여 강화 학습 기반 정책-기반 강화 학습 기법을 사용해 생성자에 피드백을 제공함으로써, 검색 품질에서 유도된 스케치의 정확도를 향상시킨다.
- 생성자와 검색 모델을 공동으로 훈련시키며, 검색 모델이 피드백 신호를 통해 생성자를 이끌고, 생성자가 증강된 훈련 데이터를 통해 검색 성능을 향상시킨다.
- 정착성 손실을 정복을 통해 통합하여 훈련을 안정화하고 노이즈가 많은 가짜 레이블에 대한 과적합을 줄인다.
실험 결과
연구 질문
- RQ1쌍으로 구성된 스케치 데이터가 부족한 상황에서 비라벨 사진만으로 FG-SBIR 성능을 크게 향상시킬 수 있는가?
- RQ2훈련 중에 신뢰도가 낮거나 정확도가 떨어지는 스케치 생성 결과를 어떻게 걸러내어 성능 저하를 방지할 수 있는가?
- RQ3스케치 생성과 검색 간의 공동 학습이 순차적 또는 별도의 학습보다 두 작업 모두를 얼마나 향상시킬 수 있는가?
- RQ4판별자 신뢰도 기반의 인스턴스별 가중치가 검색의 내성 강도 향상에 어떤 역할을 하는가?
- RQ5검색에서 생성으로의 정책 기반 강화 학습 피드백이 합성 스케치-사진 쌍의 품질 향상에 얼마나 효과적인가?
주요 결과
- 제안된 준지도 학습 프레임워크는 QMUL-ShoeV2 데이터셋에서 Acc@1이 39.1%를 기록하여 감독 기반 기준 대비 8.0% 향상되었다.
- 판별자 유도 인스턴스 가중치를 제거할 경우 Acc@1은 36.8%로 떨어지며, 이는 이 기법이 낮은 품질의 가짜 쌍을 걸러내는 데 핵심적인 역할을 함을 확인한다.
- 지식 정복을 제거할 경우 노이즈 민감도가 증가하여 Acc@1이 1.8% 감소하며, 상대적 정복 방식이 절대적 정복 방식보다 0.9% 높은 성능을 보였다.
- 생성자 내 2D 어텐션 메커니즘이 스케치 품질을 향상시키며, 1D 어テン션으로 대체할 경우 Acc@1이 4.2% 감소(8.1%로 하락)하였다.
- 정책 기반 강화 학습 피드백을 통한 공동 훈련은 검색 정확도를 1.4% 향상시켰으며, 검색 또는 판별자 피드백의 개별 기여보다 뛰어난 성능을 보였다.
- 이 프레임워크는 훈련 데이터가 제한된 상황에서도 강력한 성능 유지를 보이며, 다양한 데이터 크기에서 감독 기반 기준 대비 뚜렷한 성능 향상을 보였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.