[논문 리뷰] Constructing an Interaction Behavior Model for Web Image Search

Xiaohui Xie, Jiaxin Mao외 4명|arXiv (Cornell University)|2018. 05. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 3

한 줄 요약

이 논문은 웹 이미지 검색에서 사용자 검토 행동과 결과 관련성 추정을 위해 커서 호버링 및 클릭 데이터를 활용하는 비지도 상호작용 행동 모델인 그리드 기반 사용자 브라우징 모델(GUBM)을 제안한다. GUBM은 행동 예측 및 랭킹 성능에서 최신 기술을 능가하며, 호버링 상호작용이 관련성에 강력한 지표임을 입증하고, 주제적 관련성 및 이미지 품질 지표를 크게 향상시킨다.

ABSTRACT

User interaction behavior is a valuable source of implicit relevance feedback. In Web image search a different type of search result presentation is used than in general Web search, which leads to different interaction mechanisms and user behavior. For example, image search results are self-contained, so that users do not need to click the results to view the landing page as in general Web search, which generates sparse click data. Also, two-dimensional result placement instead of a linear result list makes browsing behaviors more complex. Thus, it is hard to apply standard user behavior models (e.g., click models) developed for general Web search to Web image search. In this paper, we conduct a comprehensive image search user behavior analysis using data from a lab-based user study as well as data from a commercial search log. We then propose a novel interaction behavior model, called grid-based user browsing model (GUBM), whose design is motivated by observations from our data analysis. GUBM can both capture users' interaction behavior, including cursor hovering, and alleviate position bias. The advantages of GUBM are two-fold: (1) It is based on an unsupervised learning method and does not need manually annotated data for training. (2) It is based on user interaction features on search engine result pages (SERPs) and is easily transferable to other scenarios that have a grid-based interface such as video search engines. We conduct extensive experiments to test the performance of our model using a large-scale commercial image search log. Experimental results show that in terms of behavior prediction (perplexity), and topical relevance and image quality (normalized discounted cumulative gain (NDCG)), GUBM outperforms state-of-the-art baseline models as well as the original ranking. We make the implementation of GUBM and related datasets publicly available for future studies.

연구 동기 및 목표

• 웹 이미지 검색에서 사용자 상호작용 패턴, 특히 클릭을 초월한 커서 호버링의 역할을 이해하기 위해.
• 희소한 클릭과 비선형 결과 레이아웃으로 인해 기존 클릭 모델이 이미지 검색에서 한계를 보이는 문제를 해결하기 위해.
• 그리드 기반 브라우징 패턴을 포착하고 이미지 검색에서의 위치 편향을 완화하는 행동 모델을 개발하기 위해.
• 수동 주석 데이터가 필요 없이 관찰 가능한 상호작용 특징만을 사용하는 이식 가능하고 비지도 모델을 만들기 위해.
• 브라우징 행동을 사용자 검토 및 관련성의 대체 지표로 통합하여 결과 랭킹을 향상시키기 위해.

제안 방법

• 모델는 사용자가 결과를 방향성 있는 그리드 순회 방식으로 검토하고, 호버링이 검토를 의미하며, 사용자가 수직 및 수평 방향으로 결과를 건너뛸 수 있다는 세 가지 핵심 가정에 기반한다.
• GUBM은 그리드 기반의 SERP에서 관찰 가능한 상호작용 시퀀스(클릭 및 호버)를 사용하여 검토 확률 및 쿼리-이미지 관련성과 같은 내부 파라미터를 추정한다.
• 수동으로 레이블이 부여된 관련성 데이터가 필요 없는 비지도 학습 프레임워크를 활용하여 대규모 상용 검색 로그에서 학습이 가능하다.
• 사용자 브라우징을 상호작용 빈도 및 시퀀스 패턴에 기반한 전이 확률을 갖는 그리드 위치에 대한 마르코프 과정으로 모델링한다.
• 모델는 상호작용 시퀀스에 대한 가능도 점수를 계산하고 이를 통해 이미지 결과의 관련성을 추론한다.
• GUBM은 비디오나 제품 검색 엔진과 같은 다른 그리드 기반 인터페이스로도 이식 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 웹 이미지 검색에서 사용자 상호작용 행동, 특히 호버링이 검토 및 관련성과 어떻게 상관관계가 있는가?
• RQ2 그리드 기반 이미지 검색 인터페이스에서 사용자 브라우징의 주요 패턴은 무엇인가?
• RQ3 희소한 클릭으로 인해 이미지 검색에서 호버링이 관련성 추정에 신뢰할 수 있는 신호로 사용될 수 있는가?
• RQ4 기존 웹 검색과 비교해 이미지 검색의 고유한 레이아웃과 상호작용 패턴을 고려해 사용자 행동 모델을 어떻게 적응시킬 수 있는가?
• RQ5 관찰 가능한 상호작용 데이터만을 사용하는 비지도 모델이 랭킹 성능에서 지도 기반 기준 모델을 얼마나 뛰어나게 성과를 낼 수 있는가?

주요 결과

• 이미지 결과에 호버링하는 빈도가 클릭보다 8~10배 더 높아, 관련성에 대한 풍부하고도 미사용된 신호임을 시사한다.
• 사용자는 일반적으로 방향성 있는 방식으로 결과를 검토하며, 종종 수직 및 수평 방향으로 항목을 건너뛰므로, 기존 클릭 모델의 순차적 검토 가정을 도전한다.
• 대규모 상용 이미지 검색 로그에서 퍼플렉서티 측정 기준으로 GUBM은 원래의 랭킹 모델 및 최신 기술 기준 모델보다 행동 예측에서 뚜렷한 승리를 거두었다.
• 관련성 평가 측면에서 GUBM은 주제적 관련성과 이미지 품질에 대해 정규화된 할당 누적 이득(NDCG)을 향상시켰다.
• 호버 데이터를 모델에 통합함으로써 성능 향상이 명확하게 나타났으며, 이는 호버링이 사용자 검토에 대한 강력한 대체 지표임을 확인한다.
• 모델는 강건하고 이식 가능하며, 비디오나 제품 검색과 같은 다른 그리드 기반 검색 인터페이스에 응용 가능성이 있다.