[논문 리뷰] Semi-supervised Feature-Level Attribute Manipulation for Fashion Image Retrieval

Minchul Shin, Sanghyuk Park외 1명|arXiv (Cornell University)|2019. 07. 11.

Image Retrieval and Classification Techniques인용 수 2

한 줄 요약

이 논문은 패션 이미지 검색을 위한 준지도 학습 기반 특징 수준의 속성 조작 방법을 제안하며, 특정 속성(예: 색상)을 조작하면서도 정체성과 기타 속성을 유지하기 위해 조작된 특징 분포를 실제 분포와 일치시킴으로써 이를 실현한다. 이 방법은 속성 조작을 표현 학습에서 분리함으로써 기존의 패션 인스턴스 검색 모델이 성능 저하 없이 속성 조작을 수행할 수 있도록 한다.

ABSTRACT

With a growing demand for search by image, many works have studied task of fashion instance-level image retrieval (FIR). Furthermore, recent works introduce a concept of fashion attribute manipulation (FAM) which manipulates a specific attribute (e.g color) of a fashion item while maintaining rest of attributes (e.g shape, and pattern). In this way, users can search not only the same items but also similar items with desired attributes. FAM is a challenging task in that attributes are hard to define, and unique characteristics of a query are hard to be preserved. Although both FIR and FAM are important in real-life applications, most of previous studies have focused on only one of these problem. In this study, we aim to achieve competitive performance on both FIR and FAM. To do so, we propose a novel method that converts a query into a representation with desired attributes. We introduce a new idea of attribute manipulation at feature level, by matching distribution of manipulated features with real features. In this fashion, attribute manipulation can be done independently from learning a representation from image. By introducing feature-level attribute manipulation, previous methods for FIR can perform attribute manipulation without sacrificing their retrieval performance.

연구 동기 및 목표

• 기존 방법이 패션 인스턴스 수준의 검색(FIR) 또는 패션 속성 조작(FAM)에만 초점을 맞추고 있음에도 불구하고 양쪽을 동시에 다루지 못하는 격차를 메운다.
• 기존 검색 모델의 성능을 저하시키지 않으면서 패션 이미지 검색에서 속성 조작을 가능하게 한다.
• 속성 조작을 이미지 표현 학습에서 분리하여 유연성과 일반화 능력을 향상시킨다.
• 속성 편집 중에 패션 아이템의 고유한 정체성과 비조작된 속성을 유지한다.
• 통합된 특징 수준의 조작 프레임워크를 통해 FIR 및 FAM 작업 모두에서 경쟁적인 성능을 달성한다.

제안 방법

• 이미지 생성에 의존하지 않고 학습된 특징 표현에 직접 작용하는 특징 수준의 속성 조작 방법을 제안한다.
• 조작된 특징의 분포를 실제 특징의 분포와 일치시키기 위해 분포 일치 손실을 사용하여 정체성과 구조적 일관성을 유지한다.
• 라벨이 붙은 데이터와 라벨이 없는 데이터를 모두 활용하여 특징 학습과 조작을 향상시키기 위해 준지도 학습 설정을 사용한다.
• 원하는 속성 조건에 기반하여 특징 공간 내 특정 속성 차원을 조정하는 특징 조정기( manipulator )를 훈련한다.
• 조작 과정을 이미지 인코더에서 분리하여 사전에 훈련된 FIR 모델을 최소한의 수정으로 사용할 수 있도록 한다.
• 조작된 특징가 원래 정체성과 임베딩 공간에서 가까이 유지되도록 대비 학습 목표를 적용한다.

실험 결과

연구 질문

• RQ1 패션 검색에서 특징 수준의 속성 조작을 이미지 표현 학습에서 효과적으로 분리할 수 있는가?
• RQ2 모델이 패션 인스턴스 수준의 검색과 속성 조작 작업을 동시에 얼마나 잘 수행할 수 있는가?
• RQ3 조작된 특징 분포를 실제 특징 분포와 일치시키는 것이 속성의 정확성과 정체성 유지에 기여하는가?
• RQ4 준지도 학습이 제안된 방법의 강인성과 일반화 능력을 어느 정도 향상시키는가?
• RQ5 제안된 프레임워크를 사용하여 기존의 FIR 모델을 성능 저하 없이 속성 조작에 적응시킬 수 있는가?

주요 결과

• 제안된 방법은 패션 인스턴스 수준의 검색과 속성 조작 작업 모두에서 경쟁적인 성능을 달성한다.
• 특징 수준의 조작은 이미지 수준의 생성 기반 접근 방식보다 패션 아이템의 정체성과 비조작된 속성을 더 효과적으로 유지한다.
• 조작된 특징와 실제 특징 간의 분포 일치가 속성 일관성과 시각적 타당성에 크게 기여한다.
• 이 방법을 통해 기존의 FIR 모델이 미세조정 없이도 속성 조작을 수행할 수 있으며 성능 저하 없이 유지된다.
• 준지도 학습은 특히 자원이 제한된 속성 조작 시나리오에서 특징 품질과 일반화 능력을 향상시킨다.
• 분리된 특징 조작 덕분에 제안된 방법은 예상치 못한 속성 조합에 대해 강력한 zero-shot 일반화 성능을 보였다.