[논문 리뷰] OutfitTransformer: Learning Outfit Representations for Fashion Recommendation
OutfitTransformer는 패션 호환성 예측 및 대규모 보완 아이템 검색을 향상시키기 위해 통합된 아웃핏 수준의 표현을 학습하는 트랜스포머 기반 프레임워크를 제안한다. 작업별 토큰과 세트 기반 순위 매기기 손실을 사용하여 아웃핏 내 모든 아이템 간의 전반적인 호환성을 포착하고, 아웃핏의 스타일과 대상 카테고리 또는 텍스트 설명에 부합하는 아이템을 검색한다. 이는 Polyvore Outfits에서 최신 기술을 초월하며, 검색된 아이템에 대한 인간 선호도가 지정된 지표로 52.5%를 기록했다.
Learning an effective outfit-level representation is critical for predicting the compatibility of items in an outfit, and retrieving complementary items for a partial outfit. We present a framework, OutfitTransformer, that uses the proposed task-specific tokens and leverages the self-attention mechanism to learn effective outfit-level representations encoding the compatibility relationships between all items in the entire outfit for addressing both compatibility prediction and complementary item retrieval tasks. For compatibility prediction, we design an outfit token to capture a global outfit representation and train the framework using a classification loss. For complementary item retrieval, we design a target item token that additionally takes the target item specification (in the form of a category or text description) into consideration. We train our framework using a proposed set-wise outfit ranking loss to generate a target item embedding given an outfit, and a target item specification as inputs. The generated target item embedding is then used to retrieve compatible items that match the rest of the outfit. Additionally, we adopt a pre-training approach and a curriculum learning strategy to improve retrieval performance. Since our framework learns at an outfit-level, it allows us to learn a single embedding capturing higher-order relations among multiple items in the outfit more effectively than pairwise methods. Experiments demonstrate that our approach outperforms state-of-the-art methods on compatibility prediction, fill-in-the-blank, and complementary item retrieval tasks. We further validate the quality of our retrieval results with a user study.
연구 동기 및 목표
- 쌍별 호환성 모델링의 한계를 극복하기 위해 고차원의 아이템 관계를 포착하는 통합된 아웃핏 수준의 표현을 학습하는 것.
- 단일 인덱서블 임베딩을 생성하여 아웃핏 호환성과 대상 아이템 사양을 모두 인코딩함으로써 대규모 보완 아이템 검색을 가능하게 하는 것.
- 사전 훈련과 커리큘럼 학습을 통해 검색 작업에서의 초기 성능이 열 劣한 문제를 해결하고 검색 성능을 향상시키는 것.
- 검색된 아이템이 뿐만 아니라 인간 평가자에 의해 기준값보다 스타일적으로 동일하거나 더 낫다고 평가되는지 검증하는 것.
제안 방법
- 자기주의 주의를 사용하여 전체 아웃핏의 전역적이고 순열 불변 표현을 학습하는 아웃핏 토큰을 도입하며, 호환성 예측을 위한 분류 손실로 훈련된다.
- 부분적인 아웃핏의 호환성과 대상 아이템 설명(카테고리 또는 텍스트)을 함께 인코딩하는 타겟 아이템 토큰을 도입하여 통일된 호환 가능한 아이템 검색을 가능하게 한다.
- 새로운 세트 기반 아웃핏 순위 매기기 손실을 사용하여 타겟 아이템 임베딩을 최적화함으로써 호환 가능한 아이템이 비호환 아이템보다 상대적으로 더 높은 순위에 오르도록 유도한다.
- 대규모 아웃핏 수준 호환성 데이터셋에서의 사전 훈련과 커리큘럼 학습을 통해 일반화 능력과 검색 성능을 향상시킨다.
- 색인 중에 쿼리에 의존하지 않고 개별 아이템 임베딩을 추출할 수 있도록 프레임워크를 설계하여 KNN 기반의 대규모 효율적 검색을 가능하게 한다.
- 트랜스포머가 순서가 없는 아웃핏 세트 내 모든 아이템 간의 복잡한 비쌍별 관계를 모델링할 수 있는 능력을 활용한다.
실험 결과
연구 질문
- RQ1자기주의 주의를 통해 학습된 통합된 아웃핏 수준 표현이 쌍별 모델링을 초월하여 호환성 예측 및 보완 아이템 검색을 향상시킬 수 있는가?
- RQ2아웃핏과 타겟 설명에 조건이 붙은 단일 타겟 아이템 임베딩이 스타일적으로 호환 가능한 아이템을 효과적이고 확장 가능한 방식으로 검색할 수 있는가?
- RQ3아웃핏 수준에서 학습하는 것이 아이템 쌍 또는 카테고리 쌍 방법에 비해 대규모 검색에서 더 나은 일반화와 성능을 이끌어낼 수 있는가?
- RQ4기준값이 상위-k 결과에 포함되어 있지 않더라도 인간이 기준값보다 선호하는 아이템을 모델이 검색할 수 있는가?
주요 결과
- OutfitTransformer는 Polyvore Outfits 데이터셋에서 호환성 예측, 빈칸 채우기(FITB), 보완 아이템 검색의 세 가지 벤치마크 작업에서 최신 기술을 모두 능가한다.
- 사용자 연구에서 인간 선호도 비율이 52.5%를 기록하여, 검색된 아이템이 52.5%의 경우에서 기준값과 동일하거나 더 낫다고 평가됨을 확인하였으며, 이는 검색 결과의 품질을 검증한다.
- 세트 기반 아웃핏 순위 매기기 손실은 호환 가능한 아이템이 아웃핏 표현에 더 가까이 임베딩되도록 유도함으로써 검색 성능을 크게 향상시킨다.
- 사전 훈련과 커리큘럼 학습 전략은 특히 초기 훈련 단계에서 검색 성능 향상에 상당한 기여를 한다.
- 질적 결과에서 프레임워크는 아웃핏의 전반적인 스타일과 특정 텍스트 기반 설명에 부합하는 아이템을 성공적으로 검색함을 보여준다.
- 모델은 다양한 타겟 카테고리와 서술적 쿼리에 대해 잘 일반화되며, 검색의 강건성과 유연성을 입증한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.