[논문 리뷰] Methods and advancement of content-based fashion image retrieval: A Review

Amin Muhammad Shoib, Summaira Jabeen외 2명|arXiv (Cornell University)|2023. 03. 30.

Aesthetic Perception and Analysis인용 수 4

한 줄 요약

이 논문은 2017~2022년 기간 동안의 최근 발전을 분석하고, 이미지 유도, 이미지+텍스트 유도, 스케치 유도, 비디오 유도 접근 방식으로 분류된 콘텐츠 기반 패션 이미지 검색(CBFIR) 방법에 대한 종합적인 리뷰를 제시한다. 네트워크 아키텍처, 손실 함수, 데이터셋, 평가 지표를 평가하며, 실세계 패션 검색 시스템에서 지속적인 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Content-based fashion image retrieval (CBFIR) has been widely used in our daily life for searching fashion images or items from online platforms. In e-commerce purchasing, the CBFIR system can retrieve fashion items or products with the same or comparable features when a consumer uploads a reference image, image with text, sketch or visual stream from their daily life. This lowers the CBFIR system reliance on text and allows for a more accurate and direct searching of the desired fashion product. Considering recent developments, CBFIR still has limits when it comes to visual searching in the real world due to the simultaneous availability of multiple fashion items, occlusion of fashion products, and shape deformation. This paper focuses on CBFIR methods with the guidance of images, images with text, sketches, and videos. Accordingly, we categorized CBFIR methods into four main categories, i.e., image-guided CBFIR (with the addition of attributes and styles), image and text-guided, sketch-guided, and video-guided CBFIR methods. The baseline methodologies have been thoroughly analyzed, and the most recent developments in CBFIR over the past six years (2017 to 2022) have been thoroughly examined. Finally, key issues are highlighted for CBFIR with promising directions for future research.

연구 동기 및 목표

• 2017년에서 2022년까지의 콘텐츠 기반 패션 이미지 검색(CBFIR) 분야의 최근 발전을 체계적으로 검토하는 것.
• CBFIR 방법을 이미지 유도, 이미지+텍스트 유도, 스케치 유도, 비디오 유도 검색의 네 가지 명확한 모odal로 분류하는 것.
• 네트워크 아키텍처, 손실 함수, 데이터셋, 평가 지표를 기반으로 CBFIR 모델의 성능을 분석하고 비교하는 것.
• 실세계 패션 검색에서 지속적인 과제인 가림, 시점 변화, 제한된 애너테이션 데이터와 같은 문제를 규명하는 것.
• 향후 연구 방향으로는 개선된 스케치 데이터셋, 소비자 구매 패턴 통합, 향상된 비디오 투 샵 검색 시스템을 제안하는 것.

제안 방법

• CBFIR 방법을 이미지 유도, 이미지+텍스트 유도, 스케치 유도, 비디오 유도 검색의 네 주요 그룹으로 분류하는 것.
• CNN, 어텐션 메커니즘, 다중모달 융합 네트워크를 포함한 CBFIR에 사용된 딥 러닝 기반 아키텍처의 체계적 분석.
• 특징 임bedding 및 유사도 학습을 위한 트리플릿 손실, 콘트라스트 손실, 교차 엔트로피와 같은 손실 함수 평가.
• DeepFashion, FashionIQ, Sketchy-200K와 같은 스케치 전용 컬렉션을 포함한 벤치마크 데이터셋의 검토 및 비교.
• 이미지 유도 검색 성능 향상을 위해 속성 예측 및 스타일 모델링 통합.
• 비디오 유도 및 인터랙티브 검색 시스템에서 텍스트, 오디오, 사용자 피드백 등의 다중모달 신호 통합을 통해 맥락 이해 향상.

실험 결과

연구 질문

• RQ1 최근 6년간 이미지 유도 CBFIR에서의 주요 방법론적 발전은 무엇인가?
• RQ2 이미지+텍스트 다중모달 CBFIR 방법은 단일모달 접근 방식에 비해 검색 정확도를 어떻게 향상시키는가?
• RQ3 스케치 유도 CBFIR의 주요 과제는 무엇이며, 개선된 데이터셋과 세그멘테이션을 통해 어떻게 해결할 수 있는가?
• RQ4 비디오 유도 CBFIR의 주요 한계는 무엇인가, 특히 시점 변화와 희박한 애너테이션 문제에 대해 설명하라.
• RQ5 실세계 전자상거래 환경에서 CBFIR 시스템의 강건성과 정확도를 향상시키기 위한 향후 연구 방향은 무엇인가?

주요 결과

• 이미지 유도 CBFIR 방법은 깊이 있는 CNN과 어텐션 메커니즘을 사용해 높은 정확도를 달성하지만, 가림이나 시점 변화 시 성능 저하가 발생한다.
• 이미지+텍스트 유도 CBFIR 모델은 다중모달 임베딩을 활용해 검색 성능을 향상시키며, 특히 텍스트 속성이 잘 애너테이션된 경우에 두드러진다.
• 스케치 유도 CBFIR는 스타일의 변동성과 질감/색상 정보 부족으로 여전히 도전 과제이며, 성능은 스케치 데이터셋의 품질에 크게 의존한다.
• 비디오 유도 CBFIR는 공개된 비디오 투 샵 데이터셋이 부족하고, 동적인 시점 변화 및 가림으로 인한 높은 시각적 변동성으로 인해 제한된다.
• 현재 CBFIR 시스템은 도메인 간 검색에서 어려움을 겪으며, 특히 기준 이미지가 데이터베이스 항목과 스타일, 조명, 자세에서 크게 다를 경우 문제가 된다.
• 향후 개선은 실시간 소비자 구매 패턴 통합과 스케치 및 비디오 모odal에 대한 향상된 데이터 증강 기법을 통해 기대할 수 있다.