[논문 리뷰] Interpretable Partitioned Embedding for Customized Fashion Outfit Composition

Zunlei Feng, Zhenyun Yu외 4명|arXiv (Cornell University)|2018. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 3

한 줄 요약

이 논문은 자동에ncoder, 감독된 속성 레이블, 그리고 적대적 독립 제약 조건을 사용하여 패션 아이템에 대해 해석 가능한, 속성별로 특화된 표현을 학습하는 분할 임베딩 네트워크를 제안한다. 이 방법은 투명한 속성 수준의 매칭 점수를 통해 개인화된 옷 조합을 가능하게 하여, 기존의 딥러닝 기반 접근 방식에 비해 해석 가능성과 사용자 선호도를 크게 향상시킨다.

ABSTRACT

Intelligent fashion outfit composition becomes more and more popular in these years. Some deep learning based approaches reveal competitive composition recently. However, the unexplainable characteristic makes such deep learning based approach cannot meet the the designer, businesses and consumers' urge to comprehend the importance of different attributes in an outfit composition. To realize interpretable and customized fashion outfit compositions, we propose a partitioned embedding network to learn interpretable representations from clothing items. The overall network architecture consists of three components: an auto-encoder module, a supervised attributes module and a multi-independent module. The auto-encoder module serves to encode all useful information into the embedding. In the supervised attributes module, multiple attributes labels are adopted to ensure that different parts of the overall embedding correspond to different attributes. In the multi-independent module, adversarial operation are adopted to fulfill the mutually independent constraint. With the interpretable and partitioned embedding, we then construct an outfit composition graph and an attribute matching map. Given specified attributes description, our model can recommend a ranked list of outfit composition with interpretable matching scores. Extensive experiments demonstrate that 1) the partitioned embedding have unmingled parts which corresponding to different attributes and 2) outfits recommended by our model are more desirable in comparison with the existing methods.

연구 동기 및 목표

• 딥러닝 기반 패션 옷 조합 시스템에서의 해석 가능성 부족 문제를 해결한다.
• 디자이너, 기업, 소비자가 옷 선택에서 개별 속성(예: 색상, 형태)의 기여도를 이해할 수 있도록 한다.
• 품질 점수 없이도 원시적인 옷 조합 데이터에서 학습할 수 있는 약한 감독 기반 프레임워크를 개발한다.
• 반복적인 모델 업데이트를 통해 변화하는 패션 트렌드에 동적으로 적응할 수 있도록 한다.
• 사용자가 지정한 속성 선호도를 바탕으로 해석 가능한 매칭 점수를 제공하는 개인화된 옷 추천을 가능하게 한다.

제안 방법

• 의복 아이템의 시각적 특징을 공유 임베딩 공간으로 압축하기 위해 자동에ncoder 모듈을 활용한다.
• 특정 임베딩 부분 벡터가 사전 정의된 속성(예: 색상, 형태)에 대응하도록 하는 감독된 속성 모듈을 도입한다.
• 적대적 훈련을 사용하여 다중 독립 모듈을 적용하여 각 임베딩 부분이 상호 독립적이며 오직 해당 속성만을 캡처하도록 보장한다.
• 노드가 속성 클러스터를 나타내고, 간선이 아이템 간 호환성을 나타내는 분할 임베딩을 사용하여 패션 조합 그래프를 구성한다.
• 각 속성이 전체 옷 조합 점수에 기여하는 정도를 정량화하는 속성 매칭 맵을 구축한다.
• 새로운 옷 조합 데이터를 사용하여 조합 그래프를 재가중함으로써 반복적인 모델 업데이트를 가능하게 하여, 새로운 트렌드에 실시간으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 색상, 형태 등 다양한 패션 속성을 서로 다른 해석 가능한 구성 요소로 분리하는 분할 임베딩을 학습할 수 있는가?
• RQ2 제안된 다중 독립 제약 조건이 각 임베딩 부분이 오직 하나의 속성만 캡처하도록 효과적으로 방지하는가?
• RQ3 사용자가 지정한 속성에 기반해 투명한 속성 수준의 매칭 점수를 제공하는 개인화된 옷 추천을 모델이 생성할 수 있는가?
• RQ4 새로운 데이터를 점진적으로 추가할 때 모델이 변화하는 패션 트렌드에 얼마나 잘 적응하는가?
• RQ5 품질 점수가 없이 옷 수준의 데이터만을 기반으로 하는 약한 감독 기반 접근 방식이 기존 방법에 비해 사용자 선호도와 해석 가능성 측면에서 뛰어난가?

주요 결과

• 분할 임베딩은 다양한 속성을 명확히 분리한 부분 벡터로 표현하며, t-SNE 시각화에서 색상 및 형태 성분이 뚜렷한 클러스터링을 보였다.
• 다중 독립 제약 조건은 교차 속성 노출을 효과적으로 방지했으며, 이는 유사한 질감이나 스타일을 가진 가방들이 색상과 형태가 다를지라도 그룹화되는 것으로 확인되었다.
• 모델이 추천한 옷 조합은 기준 방법에 비해 더 높은 사용자 선호도 점수를 기록했으며, 특히 사용자가 색상이나 형태를 지정했을 경우 두드러진 성능 향상을 보였다.
• 모델이 제공하는 속성 매칭 점수는 인간의 인지와 일치했으며, 색상과 형태 속성이 잔여 속성들보다 전체 조합 점수에 더 큰 기여를 했다.
• 반복적인 모델 업데이트 메커니즘은 2007년에서 2017년까지의 연간 스타일 이동 경향과 일관되게 일치하는 경향을 보이며 패션 트렌드를 성공적으로 추적했다.
• 모델는 새로운 데이터에 잘 일반화되며, 재학습 없이도 새로운 옷 조합 데이터셋으로 조합 그래프를 업데이트해도 높은 성능을 유지했다.