[논문 리뷰] PinView: Implicit Feedback in Content-Based Image Retrieval

Zakria Hussain, Arto Klami외 7명|arXiv (Cornell University)|2014. 10. 02.

Image Retrieval and Classification Techniques참고 문헌 40인용 수 7

한 줄 요약

PinView는 눈동착 데이터의 암묵적 피드백과 클릭 행동의 명시적 피드백을 활용하여 사용자 의도를 추론하고 동적으로 이미지 유사도 메트릭을 적응시키는 컨텐츠 기반 이미지 검색 시스템이다. 다중 커널 학습과 탐색-이용 전략(_linRel_)을 적용한 PinView는 기준 방법들을 능가하며, 실시간 사용자 실험에서 눈동착과 클릭 피드백을 병합한 결과가 가장 뛰어난 검색 성능을 보였다.

ABSTRACT

This paper describes PinView, a content-based image retrieval system that exploits implicit relevance feedback collected during a search session. PinView contains several novel methods to infer the intent of the user. From relevance feedback, such as eye movements or pointer clicks, and visual features of images, PinView learns a similarity metric between images which depends on the current interests of the user. It then retrieves images with a specialized online learning algorithm that balances the tradeoff between exploring new images and exploiting the already inferred interests of the user. We have integrated PinView to the content-based image retrieval system PicSOM, which enables applying PinView to real-world image databases. With the new algorithms PinView outperforms the original PicSOM, and in online experiments with real users the combination of implicit and explicit feedback gives the best results.

연구 동기 및 목표

• 암묵적 피드백과 명시적 피드백을 통해 사용자 의도를 추론하여 컨텐츠 기반 이미지 검색의 의미적 갭을 해소하고자 한다.
• 검색 세션 동안 사용자 행동에 기반해 개인화된 이미지 유사도 메트릭을 동적으로 학습하는 시스템을 개발하고자 한다.
• 온라인 학습을 통해 새로운 이미지 탐색과 추론된 사용자 선호도의 이용 간 균형을 이루고자 한다.
• 실세계 검색 환경에서 암묵적 피드백(gaze)과 명시적 피드백(clicks)의 효과를 평가하고자 한다.

제안 방법

• 이미지 검색 중 사용자 관심을 추론하기 위해 눈동착 데이터와 마우스 클릭을 암묵적 및 명시적 관련성 신호로 활용한다.
• 시각적 특징(색상, 무늬, 윤곽선)에서 파생된 사용자 전용 이미지 유사도 메트릭을 학습하기 위해 텐서 프로젝션을 적용한 다중 커널 학습(MKL)을 적용한다.
• 온라인 탐색-이용 전략을 위해 LinRel 알고리즘을 활용하여 새로운 이미지 탐색과 이미 추론된 관련 이미지 검색 간 균형을 이룬다.
• PicSOM이라는 컨텐츠 기반 이미지 검색 프레임워크에 PinView 시스템을 통합하여 실세계 구현을 가능하게 한다.
• 저수준의 시각적 특징을 활용하고 MKL을 통해 다양한 이미지 유사도 측면을 통합하여 현재 사용자 세션에 관련된 특징을 포괄한다.
• 눈동착 지속 시간과 고정 패턴을 암묵적 피드백 신호로 사용하며, 더 긴 눈동착 시간이 더 높은 관련성을 의미한다고 가정한다.

실험 결과

연구 질문

• RQ1 눈동작에서 유도된 암묵적 피드백이 무작위 브라우징 대비 컨텐츠 기반 이미지 검색 성능 향상에 효과적인가?
• RQ2 이미지 검색 작업에서 눈동작 기반 암묵적 피드백과 클릭 기반 명시적 피드백 간 성능 비교는 어떻게 되는가?
• RQ3 암묵적(gaze)과 명시적(click) 피드백을 병합하면 단독으로 사용할 경우보다 더 나은 검색 결과를 얻을 수 있는가?
• RQ4 시스템의 적응형 유사도 메트릭이 정적 또는 비적응형 방법 대비 검색 정확도 향상에 얼마나 기여하는가?
• RQ5 사용자 인터페이스 설계와 데이터 특성은 실세계 이미지 검색에서 암묵적 피드백의 효과성에 어떤 영향을 미치는가?

주요 결과

• 오프라인 및 온라인 실험 모두에서 눈동착 패턴이 무작위 이미지 선택보다 뛰어난 성능을 보였으며, 이는 눈동착 패턴이 관련성 신호로서 타당한 자료임을 시사한다.
• 클릭 피드백이 눈동착 전용 피드백보다 유의미하게 높은 성능을 보였으며(p = 0.046), 눈동착만으로도 무작위 선택보다 뛰어났다.
• 눈동착과 클릭 피드백을 병합한 결과가 가장 높은 검색 성능을 기록했으며, p값 0.0065로 눈동착 전용 피드백 대비 통계적으로 유의미했다.
• 온라인 실험에서 병합 모odal이 클릭 전용 피드백보다 성능이 뛰어났으며(p = 0.059), 이는 실제 사용자 피드백이 시뮬레이션 피드백보다 더 정확함을 시사한다.
• 눈동착 기반 피드백은 최고 성능을 보인 병합 모달의 평균 67% 수준의 관련 이미지를 확보했으며, 강력하지만 최적의 성능은 아님을 보여준다.
• 시스템의 성능은 오프라인 시뮬레이션보다 온라인 환경에서 더 뛰어났으며, 이는 실제 사용자 행동이 더 신뢰할 수 있는 피드백 신호를 제공함을 의미한다.