[논문 리뷰] Sparse Transfer Learning for Interactive Video Search Reranking

Xinmei Tian, Dacheng Tao외 1명|arXiv (Cornell University)|2011. 03. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 35

한 줄 요약

이 논문은 사용자 레이블링된 피드백을 인코딩하여 의미 간극을 해소하는 상호작용 영상 검색 재정렬을 위한 새로운 차원 축소 방법인 스퍼스 테두스러닝(Sparse Transfer Learning, STL)을 제안한다. 쌍별 분류 학습, 희소성에 대한 엘라스틱 넷 정규화, 데이터 분포 전파를 활용함으로써 STL는 TRECVID 2005–2007 벤치마크에서 기존 방법들을 능가하며 효과적인 사용자 피드백 통합을 통해 뛰어난 재정렬 성능을 입증한다.

ABSTRACT

Visual reranking is effective to improve the performance of the text-based video search. However, existing reranking algorithms can only achieve limited improvement because of the well-known semantic gap between low level visual features and high level semantic concepts. In this paper, we adopt interactive video search reranking to bridge the semantic gap by introducing user's labeling effort. We propose a novel dimension reduction tool, termed sparse transfer learning (STL), to effectively and efficiently encode user's labeling information. STL is particularly designed for interactive video search reranking. Technically, it a) considers the pair-wise discriminative information to maximally separate labeled query relevant samples from labeled query irrelevant ones, b) achieves a sparse representation for the subspace to encodes user's intention by applying the elastic net penalty, and c) propagates user's labeling information from labeled samples to unlabeled samples by using the data distribution knowledge. We conducted extensive experiments on the TRECVID 2005, 2006 and 2007 benchmark datasets and compared STL with popular dimension reduction algorithms. We report superior performance by using the proposed STL based interactive video search reranking.

연구 동기 및 목표

• 텍스트 기반 영상 검색에서 저수준 시각적 특징과 고수준 의미 개념 사이의 의미 간극을 해소하기 위해.
• 상호작용 검색 환경에서 사용자 상호작용 피드백을 효과적으로 통합함으로써 재정렬 성능을 향상시키기 위해.
• 사용자 의도를 인코딩하면서도 희소성과 분류 능력을 유지하는 차원 축소 기법을 개발하기 위해.
• 데이터 분포 지식을 활용하여 레이블된 샘플에서 레이블이 없는 샘플로 사용자 레이블링 정보를 전파하기 위해.
• 상호작용 영상 검색 재정렬 작업에서 기존의 차원 축소 방법을 능가하기 위해.

제안 방법

• STL는 쌍별 분류 학습을 통해 레이블된 관련 및 비관련 영상 샘플 간의 분리도를 최대화하는 차원 축소 모델을 수립한다.
• 희소성은 엘라스틱 넷 페널티를 통해 강제로 구현되어 사용자 의도의 압축되고 해석 가능한 표현을 보장한다.
• 기본 데이터 분포를 모델링하여 레이블된 샘플에서 레이블이 없는 샘플로 사용자 피드백을 전파하는 방법을 적용한다.
• 관련 영상와 비관련 영상 간의 분류 구조를 유지하는 저차원 부분공간에 사용자 레이블링 피드백을 통합한다.
• 이동 학습 원리와 희소 코딩을 조합하여 영상 관련도 추정을 적응적으로 개선하는 접근법을 취한다.
• 최종적으로 변환된 특징 공간에서 재정렬을 수행하며, 여기서 사용자 피드백이 효과적으로 인코딩된다.

실험 결과

연구 질문

• RQ1 사용자 레이블링 피드백이 저차원 부분공간에 효과적으로 인코딩되어 영상 재정렬 성능을 향상시킬 수 있는가?
• RQ2 영상 검색를 위한 이동 학습 프레임워크에서 희소성과 분류 능력을 동시에 최적화할 수 있는가?
• RQ3 데이터 분포 지식을 통합함으로써 레이블이 없는 영상로의 사용자 피드백 전파가 얼마나 향상되는가?
• RQ4 제안된 STL 방법이 상호작용 영상 검색 재정렬에서 표준 차원 축소 기법을 능가하는가?
• RQ5 TRECVID 2005–2007와 같은 다양한 영상 검색 벤치마크에서 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 STL 방법은 기준 차원 축소 알고리즘에 비해 TRECVID 2005, 2006, 2007 벤치마크 데이터셋에서 뛰어난 성능을 달성하였다.
• 효과적인 피드백 인코딩을 통해 저수준 시각적 특징과 고수준 사용자 의도 사이의 의미 간극을 상당히 감소시켰다.
• 엘라스틱 넷 정규화의 통합은 희소 부분공간 표현을 개선하여 이해 가능성과 효율성을 향상시켰다.
• 데이터 분포 지식을 활용한 사용자 피드백 전파로 레이블이 없는 영상에 대한 관련도 추정의 일반화 능력이 향상되었다.
• TRECVID 평가의 다수 년도에 걸쳐 재정렬 성능 향상이 일관되게 관찰되었다.
• 결과는 STL를 통해 처리된 상호작용 피드백이 더 정확하고 관련성이 높은 영상 검색 결과를 도출함을 확인한다.