[논문 리뷰] Video2Shop: Exact Matching Clothes in Videos to Online Shopping Images

Zhi-Qi Cheng, Xiao Wu외 2명|arXiv (Cornell University)|2018. 04. 14.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 8

한 줄 요약

이 논문은 LSTM 기반의 시계열 모델링을 통한 의류 궤적과 깊이 트리 구조를 가진 재구성 가능한 유사도 네트워크를 사용하여 영상 시퀀스와 온라인 쇼핑 이미지 간의 정확한 의류 매칭을 위한 딥 뉴럴 네트워크인 AsymNet을 제안한다. 이 방법은 대규모 Video2Shop 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법들보다 상당한 격차로 상위 20개 검색 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

In recent years, both online retail and video hosting service are exponentially growing. In this paper, we explore a new cross-domain task, Video2Shop, targeting for matching clothes appeared in videos to the exact same items in online shops. A novel deep neural network, called AsymNet, is proposed to explore this problem. For the image side, well-established methods are used to detect and extract features for clothing patches with arbitrary sizes. For the video side, deep visual features are extracted from detected object regions in each frame, and further fed into a Long Short-Term Memory (LSTM) framework for sequence modeling, which captures the temporal dynamics in videos. To conduct exact matching between videos and online shopping images, LSTM hidden states, representing the video, and image features, which represent static object images, are jointly modeled under the similarity network with reconfigurable deep tree structure. Moreover, an approximate training method is proposed to achieve the efficiency when training. Extensive experiments conducted on a large cross-domain dataset have demonstrated the effectiveness and efficiency of the proposed AsymNet, which outperforms the state-of-the-art methods.

연구 동기 및 목표

• 다양한 도메인 간 시각적 차이로 인해 복잡해지는 영상과 온라인 쇼핑 이미지 간의 정확한 의류 매칭 문제를 해결하기 위해.
• 다양한 프레임 간 의류 아이템의 표현을 향상시키기 위해 영상 시퀀스의 시계열 역학을 모델링하기 위해.
• 영상 궤적과 정적 쇼핑 이미지 간 비대칭(다중 대 단일) 매칭을 동시에 모델링할 수 있는 유사도 네트워크를 설계하기 위해.
• 대규모 온라인 검색을 위해 모델을 스케일링할 수 있는 효율적인 근사 학습 방법을 개발하기 위해.
• 교차 도메인 의류 검색을 위한 첫 번째 대규모 Video2Shop 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 이중 스트림 아키텍처를 사용한다: 정적 쇼핑 이미지를 위한 이미지 특징 네트워크(IFN)와 영상 내 의류 궤적을 위한 비디오 특징 네트워크(VFN)를 각각 활용한다.
• 의류 검출을 위해 Faster R-CNN을 사용하고, 영상 프레임 간 의류 패치를 추적하기 위해 KCF 트래커를 활용하여 일관된 궤적을 생성한다.
• 영상 프레임에서 추출한 깊이 있는 시각적 특징을 LSTM 네트워크가 처리하여 시계열 역학을 모델링하고 시퀀스 수준의 표현을 생성한다.
• 유사도 네트워크 내 재구성 가능한 깊이 트리 구조가 영상 궤적과 이미지 특징 간 최적의 융합 전략을 자동으로 학습한다.
• 학습 시간을 25배 감소시켜 대규모 학습을 효율적으로 가능하게 하기 위해 근사 학습 방법을 도입한다.
• 영상 궤적 임베딩과 쇼핑 이미지 특징 간의 매칭 점수를 측정하기 위해 코사인 유사도를 사용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 영상 내 의류 아이템과 온라인 쇼핑 카탈로그의 동일한 아이템 간 정확한 매칭을 효과적으로 수행할 수 있는가?
• RQ2 영상 시퀀스의 시계열 역학을 어떻게 모델링할 수 있는가? 이를 통해 다양한 시야각과 운동 상황에서도 의류 표현의 강건성을 향상시킬 수 있는가?
• RQ3 재구성 가능한 유사도 네트워크 아키텍처는 비대칭(다중 대 단일) 매칭 작업에서 고정된 융합 전략보다 우수한 성능을 낼 수 있는가?
• RQ4 근사 학습 방법은 대규모 영상-쇼핑 검색을 위한 학습 시간을 크게 단축시키면서도 모델의 효과성을 유지하는가?
• RQ5 실제 대규모 실세계 데이터셋에서 제안된 방법은 최신 기술 수준의 접근법과 비교해 검색 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• AsymNet은 전체 Video2Shop 데이터셋에서 상위 20개 검색 정확도 36.63%를 달성하여 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 AlexNet이라는 강력한 베이스라인 대비 성능을 거의 두 배로 끌어올렸다.
• 하이힐과 빈티지 바지와 같은 특정 카테고리에서는 AsymNet이 상위 20개 정확도 48% 이상을 달성하여 도전적인 카테고리에서도 뛰어난 성능을 보였다.
• 근사 학습 방법은 기존 방법 대비 학습 시간을 1/25로 단축시켰으며, 모델 효과성에 변화가 없었다.
• 모델은 1초당 200장의 이미지, 0.5개의 영상 궤적, 345쌍의 매칭을 처리하여 뛰어난 추론 효율성을 보였다.
• 시각적 분석 결과, AsymNet은 장식 무늬나 색상이 다를 경우에도 유사한 외관을 가진 다른 아이템들에 대해 잘못된 양성 결과(false positives)를 효과적으로 방지함을 확인했다.