[논문 리뷰] Visual Discovery at Pinterest

Andrew Zhai, Dmitry Kislyuk외 6명|arXiv (Cornell University)|2017. 02. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 13

한 줄 요약

이 논문은 비트맵의 시각적 탐색 엔진을 제시하며, 딥 러닝 기반의 객체 검출 및 바이너리화된 컨volutional 특징을 활용하여 플래시라이트와 렌즈와 같은 상호작용형 시각적 검색 및 추천 시스템을 구동한다. 이 시스템은 객체 수준의 검색과 다양한 의미적 관련 결과를 가능하게 하여 사용자 참여도를 크게 향상시키며, 객체 검출 기능을 사용할 경우 참여도가 4.9% 증가한다.

ABSTRACT

Over the past three years Pinterest has experimented with several visual search and recommendation services, including Related Pins (2014), Similar Looks (2015), Flashlight (2016) and Lens (2017). This paper presents an overview of our visual discovery engine powering these services, and shares the rationales behind our technical and product decisions such as the use of object detection and interactive user interfaces. We conclude that this visual discovery engine significantly improves engagement in both search and recommendation tasks.

연구 동기 및 목표

• 사용자 참여도를 향상시키기 위해 상호작용형 객체 수준의 시각적 검색을 제공하는 프로덕션 수준의 시각적 탐색 시스템을 설계하고 스케일링하는 것.
• 사전 훈련된 컨volutional 네트워크에서 유도된 바이너리화된 딥 특징을 사용하여 대규모 이미지 검색에서 검색 효율성과 관련성을 향상시키는 것.
• 객체 검출을 다양한 시각적 탐색 경험(추천, 검색, 모바일 카메라 기반 탐색 포함)에 통합하는 것.
• 사용자가 이미지 내에서 시각적으로 유사한 객체를 검색하고 정확한 시각적 매칭을 넘어서 의미적으로 관련된 콘텐츠를 탐색할 수 있도록 하는 것.
• 실제 운영 환경에 적합하도록 특징 표현, 쿼리 정규화, 결과 블렌딩 등의 시스템 구성 요소를 평가하고 최적화하는 것.

제안 방법

• 사전 훈련된 네트워크(예: ResNet, VGG)에서 유도된 딥 컨volutional 특징의 바이너리화를 통해 검색 지연 시간을 극적으로 감소시키면서도 관련성을 향상시키는 것.
• SSD 기반 객체 검출을 사용하여 수십억 개의 Pinterest 이미지에 걸쳐 객체를 식별하고 색인하여 객체 수준의 검색을 가능하게 하는 것.
• 플래시라이트에 객체 검출 결과를 상호작용 가능한 쿼리 포인트로 통합하여 사용자가 검출된 객체를 클릭해 새로운 검색을 시작할 수 있도록 하는 것.
• Pinterest 렌즈의 경우 두 단계 아키텍처를 설계: 첫 번째 단계는 시각적 및 의미적 특징을 추출하기 위한 쿼리 이해, 두 번째 단계는 여러 소스(시각적, 의미적, 맥락적)에서 유래한 결과를 블렌딩하는 것.
• 전체 이미지의 객체 임베딩을 색인하여, 전체 이미지 매칭이 아닌 특정 객체를 포함한 장면을 검색할 수 있도록 하는 것.
• 쿼리 신뢰도 및 특징에 기반해 플래시라이트(시각적으로 유사한 결과), 이미지 검색(의미적으로 유사한 결과), 객체 검색(맥락적으로 관련된 결과)에서 유도된 결과를 동적으로 블렌딩하는 것.

Figure 1: Pinterest Flashlight: User can select any objects in the image (e.g. lamp, desk, shelf) as a visual search query.

실험 결과

연구 질문

• RQ1 바이너리화된 딥 특징은 대규모 시각적 검색 시스템에서 검색 효율성과 관련성 향상에 어떻게 기여하는가?
• RQ2 객체 검출은 상호작용형 시각적 탐색 시스템에서 사용자 참여도에 어떤 영향을 미치는가?
• RQ3 시각적 특징과 객체 검출은 어떻게 통합된 추천 및 검색 파이프라인에 효과적으로 통합될 수 있는가?
• RQ4 쿼리 이해는 모바일 시각적 탐색에서 결과의 다양성과 관련성 향상에 어떤 역할을 하는가?
• RQ5 실시간 시각적 탐색 시스템에서 사용자 경험 최적화를 위해 여러 결과 소스를 어떻게 동적으로 블렌딩할 수 있는가?

주요 결과

• 딥 특징의 바이너리화는 검색 지연 시간을 감소시키면서도 결과의 관련성을 향상시켜 수십억 개의 이미지에 걸쳐 스케일러블하게 배포할 수 있도록 했다.
• 플래시라이트에 객체 검출을 통합함으로써 사용자 참여도가 4.9% 증가했으며, 카테고리 일치도가 관련성 향상의 주요 요인으로 작용했다.
• SSD 기반 검출에 의해 가능해진 객체 수준 색인화 덕분에 특정 객체를 포함한 장면을 검색할 수 있게 되어, 전체 이미지 매칭을 넘어서 시각적 검색의 범위를 넓혔다.
• Pinterest 렌즈는 동적 결과 블렌딩을 통해 시각적으로 유사한, 의미적으로 유사한, 맥락적으로 관련된 결과를 성공적으로 통합하여 탐색 품질을 향상시켰다.
• 이 시스템은 상호작용형이고 객체를 선택할 수 있는 쿼리가 시각적 플랫폼에서 사용자 탐색 및 콘텐츠 탐색을 크게 향상시킨다는 점을 입증했다.
• 풍부한 메타데이터와 공동 필터링의 사용은 객체 검출의 신뢰도를 향상시켜 플래시라이트에서 신뢰할 수 있는 도트 기반 탐색을 가능하게 했다.

Figure 2: If objects are automatically detected, Flashlight displays a clickable “dot” for faster navigation.