[논문 리뷰] Learning High-level Image Representation for Image Retrieval via Multi-Task DNN using Clickthrough Data

Yalong Bai, Kuiyuan Yang외 3명|arXiv (Cornell University)|2013. 12. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 13인용 수 10

한 줄 요약

이 논문은 클릭스루 데이터에서 고수준 이미지 표현을 학습하기 위해 고리 훈련을 적용한 다중 작업 딥 네ural 네트워크(DNN)를 제안하며, 검색 쿼리와 이미지 사이의 의미적 갭을 해소한다. 쿼리 간 공유된 특징 추출 레이어를 사용하고 관련성 점수를 계산하기 위해 쿼리별로 특화된 레이어를 활용함으로써, 실제 이미지 검색 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이중 및 다중 클래스 DNN 기반 모델을 능가한다.

ABSTRACT

Image retrieval refers to finding relevant images from an image database for a query, which is considered difficult for the gap between low-level representation of images and high-level representation of queries. Recently further developed Deep Neural Network sheds light on automatically learning high-level image representation from raw pixels. In this paper, we proposed a multi-task DNN learned for image retrieval, which contains two parts, i.e., query-sharing layers for image representation computation and query-specific layers for relevance estimation. The weights of multi-task DNN are learned on clickthrough data by Ring Training. Experimental results on both simulated and real dataset show the effectiveness of the proposed method.

연구 동기 및 목표

• 이미지 검색에서 고수준 쿼리와 저수준 이미지 특징 사이의 의미적 갭을 해소하기 위해.
• 수백만 개의 쿼리와 클릭된 이미지를 포함한 대규모 클릭스루 데이터를 활용하여 이미지 표현을 지도 학습으로 학습하기 위해.
• 거대하고 긴 꼬리 형태의 쿼리 분포 및 중복 개념을 다루는 데에 한계가 있는 이중 및 다중 클래스 DNN의 한계를 극복하기 위해.
• 쿼리 간 공유된 시각적 표현을 유지하면서 쿼리별 관련성에 적응할 수 있는 확장성 있고 이식 가능한 딥 러닝 프레임워크를 개발하기 위해.
• 공유된 가중치와 쿼리별로 특화된 가중치를 공동 최적화하기 위한 새로운 훈련 전략인 고리 훈련을 도입하여 이미지 검색 순위 성능을 향상시키기 위해.

제안 방법

• 모델은 두 가지 구성 요소를 가진 다중 작업 DNN 아키텍처를 사용한다: 공유된 이미지 특징 추출을 위한 쿼리 공유 레이어와 관련성 점수를 계산하기 위한 쿼리별로 특화된 레이어.
• 관련성 점수는 $ r(I,q) = \psi(\phi(I;W_s);W_q) $ 로 계산되며, 여기서 $ \phi $ 는 이미지 특징을 추출하고 $ \psi $ 는 쿼리별로 특화된 가중치를 사용해 관련성 점수를 계산한다.
• 목표 함수는 클릭스루 데이터 기반 분류 손실을 최소화하도록 설정된다: $ \min_{\Theta} J(\Theta) = \frac{1}{N} \sum_{i=1}^{M} \sum_{j=1}^{n_i} L(g(I_j^i,q_i), r(I_j^i,q_i)) $.
• 고리 훈련은 공유 가중치 $ W_s $ 와 쿼리별로 특화된 가중치 $ W_{q_i} $ 를 번갈아가며 업데이트하는 공동 최적화 방법으로, 일반화 능력과 수렴 성능을 향상시킨다.
• 고리 훈련 이후 공유 레이어의 특징을 추출하여 최종 관련성 순위 매기기 위해 SVM에 입력한다.
• 네트워크 아키텍처는 다섯 개의 합성곱 레이어, 두 개의 완전 연결 레이어, ReLU 활성화 함수, 맥스 풀링, 반응 정규화를 포함하며, 입력 크기는 $ 224 \times 224 $ 이다.

실험 결과

연구 질문

• RQ1 클릭스루 데이터에서 고수준 이미지 표현을 효과적으로 학습할 수 있는 다중 작업 DNN 아키텍처는 의미적 갭을 해소하는 데에 유용한가?
• RQ2 고리 훈련은 거대하고 긴 꼬리 형태의 클릭스루 데이터셋에서 공유된 가중치와 쿼리별로 특화된 가중치의 학습을 어떻게 향상시키는가?
• RQ3 제안된 방법은 이중 및 다중 클래스 DNN 기반 모델 대비 이미지 검색 순위 성능에서 뛰어나게 성능을 발휘하는가?
• RQ4 쿼리 간 공유된 특징 학습은 희귀하거나 꼬리 쿼리에 대해 일반화 능력을 얼마나 향상시키는가?
• RQ5 수백만 개의 쿼리와 무거운 꼬리 형태의 분포를 가진 실세계 이미지 검색 작업에 모델이 잘 일반화되는가?

주요 결과

• 제안된 다중 작업 DNN와 고리 훈련은 MSR-Bing 테스트 세트에서 DCG25 점수 0.502를 기록하여 무작위 순위 매기기(0.468)와 SIFT 기반 SVM(0.484)를 능가했다.
• 시뮬레이션 데이터셋에서, 이 방법은 평균 평균 정밀도를 각각 32.36%(dataset1), 30.4%(dataset2), 36.68%(dataset3) 감소시켜 이중 및 다중 클래스 기반 모델 대비 일관된 성능 향상을 보였다.
• 고리 훈련은 공유된 가중치와 쿼리별로 특화된 가중치의 효과적인 공동 최적화를 가능하게 하여, 특히 훈련 데이터가 제한된 꼬리 쿼리에서 수렴 성능과 성능 향상을 향상시켰다.
• 모델는 클릭스루 데이터의 긴 꼬리 형태 분포를 효과적으로 다룰 수 있었으며, 96% 이상의 쿼리가 1,000장 이하의 클릭된 이미지를 가진 상황에서도 다중 클래스 DNN가 스케일이 불가능한 상황에서 성능을 뛰어넘었다.
• 다중 작업 DNN를 통해 학습된 시각적 특징은 SIFT 기반 특징보다 더 구분력이 뛰어나, SVM 기반 평가에서 뛰어난 순위 매기기 성능을 보였다.
• 실세계 데이터에서 모델는 강건성과 확장성을 입증했으며, 최종 모델은 MSR-Bing 이미지 검색 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성했다.