[논문 리뷰] Hybrid Style Siamese Network: Incorporating style loss in complimentary apparels retrieval

Mayukh Bhattacharyya, Sayan Nag|arXiv (Cornell University)|2019. 11. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 5

한 줄 요약

이 논문은 시각적 호환성 있는 의류 아이템을 검색하는 데 있어 표준 시앙세 이론 네트워크의 한계를 보완하기 위해 신경 스타일 전이에서 유도된 스타일 손실을 통합한 하이브리드 시앙세 네트워크를 제안한다. 시앙세 아키텍처와 하이브리드 손실 함수를 결합함으로써, 저수준의 스타일 특징을 포착할 수 있으며, 이는 시각적으로 호환되는 의류 아이템을 검색하는 데 있어 기존의 표준 시앙세 네트워크보다 뚜렷하게 뛰어난 성능을 발휘한다.

ABSTRACT

Image Retrieval grows to be an integral part of fashion e-commerce ecosystem as it keeps expanding in multitudes. Other than the retrieval of visually similar items, the retrieval of visually compatible or complementary items is also an important aspect of it. Normal Siamese Networks tend to work well on complementary items retrieval. But it fails to identify low level style features which make items compatible in human eyes. These low level style features are captured to a large extent in techniques used in neural style transfer. This paper proposes a mechanism of utilising those methods in this retrieval task and capturing the low level style features through a hybrid siamese network coupled with a hybrid loss. The experimental results indicate that the proposed method outperforms traditional siamese networks in retrieval tasks for complementary items.

연구 동기 및 목표

• 패션 아이템의 시각적 호환성에 핵심적인 영향을 미치는 저수준의 스타일 특징을 포착하는 데에 표준 시앙세 네트워크의 한계를 해결하기 위해.
• 신경 스타일 전이 기법을 통합하여 보완적 의류 검색을 위한 특징 표현을 향상시키기 위해.
• 메트릭 학습과 스타일 손실을 결합한 하이브리드 손실 함수를 개발하여 검색 성능을 향상시키기 위해.
• 시각적 유사성 외에도 보다 높은 정확도로 보완적 의류 아이템을 검색할 수 있도록 하기 위해.
• 패션 전자상거래 검색 시스템에서 스타일 인식 특징 학습의 효과성을 입증하기 위해.

제안 방법

• 검색 작업을 위해 쌍으로 구성된 의류 이미지를 처리할 수 있도록 시앙세 네트워크 아키텍처를 적응시켰다.
• 신경 스타일 전이에서 유도된 스타일 손실 구성 요소를 도입하여 저수준의 텍스처 및 패턴 특징을 포착했다.
• 대비 손실(메트릭 학습용)과 스타일 손실(특징 수준의 스타일 정렬용)을 결합한 하이브리드 손실 함수를 설계했다.
• 정신적 유사성과 시각적 스타일 호환성 양측을 최적화하기 위해 보완적 의류 쌍의 이미지 쌍을 사용하여 네트워크를 종단 간(end-to-end)으로 훈련시켰다.
• 콘텐츠 및 스타일 표현에 중점을 두어 사전 훈련된 합성곱 신경망의 특징 맵을 사용해 스타일 손실을 계산했다.
• 일반화 능력을 향상시키기 위해 보완적 아이템 쌍이 레이블링된 패션 데이터셋에서 네트워크를 피지컬 튜닝(fine-tune)했다.

실험 결과

연구 질문

• RQ1 신경 스타일 전이에서 유도된 스타일 손실을 통합함으로써 시앙세 네트워크의 보완적 의류 검색 성능을 향상시킬 수 있는가?
• RQ2 저수준의 스타일 특징은 패션 아이템의 인간이 인식하는 호환성에 어떻게 기여하는가?
• RQ3 메트릭 학습과 스타일 손실을 융합한 하이브리드 손실이 기존의 시앙세 네트워크 손실보다 더 높은 검색 정확도를 제공하는가?
• RQ4 스타일 인식 특징은 시각적 유사성 외에도 어느 정도 검색 성능 향상에 기여하는가?
• RQ5 제안된 방법은 다양한 패션 카테고리와 스타일 간에 일반화 가능한가?

주요 결과

• 제안된 하이브리드 시앙세 네트워크는 기존의 표준 시앙세 네트워크보다 보완적 의류 아이템 검색에서 뛰어난 성능을 보였다.
• 스타일 손실을 통합함으로써 모델이 미세한 시각적 호환성 신호를 탐지하는 능력이 크게 향상되었다.
• 하이브리드 손실 함수는 이미지 쌍 간의 콘텐츠 및 스타일 표현을 정렬함으로써 특징 학습을 향상시켰다.
• 모델은 텍스처 및 패턴과 같은 저수준의 스타일 특징을 포착함으로써 더 높은 검색 정확도를 달성했다.
• 실험 결과는 스타일 인식 학습이 인간의 기준에 더 부합하는 검색 결과를 도출한다는 것을 확인했다.
• 기준 시앙세 네트워크 대비 보완적 아이템 검색에서 개선된 성능을 보여주었다.