[논문 리뷰] Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

Xingchen Li, Xiang Wang외 4명|arXiv (Cornell University)|2020. 05. 26.

Recommender Systems and Techniques참고 문헌 44인용 수 12

한 줄 요약

이 논문은 사용자-아웃핏 상호작용과 아웃핏-아이템 호환성 양자를 동시에 모델링하기 위해 삼중 계층 히에라르키컬 그래프(사용자-아웃핏-아이템)를 활용하는 그래프 신경망 프레임워크인 계층적 패션 그래프 네트워크(HFGN)를 제안한다. 수준 간 메시지 전달을 통해 HFGN은 아이템 수준의 호환성 정보를 활용하여 사용자 및 아웃핏 표현을 개선하며, 개인화된 아웃핏 추천에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Fashion outfit recommendation has attracted increasing attentions from online shopping services and fashion communities.Distinct from other scenarios (e.g., social networking or content sharing) which recommend a single item (e.g., a friend or picture) to a user, outfit recommendation predicts user preference on a set of well-matched fashion items.Hence, performing high-quality personalized outfit recommendation should satisfy two requirements -- 1) the nice compatibility of fashion items and 2) the consistence with user preference. However, present works focus mainly on one of the requirements and only consider either user-outfit or outfit-item relationships, thereby easily leading to suboptimal representations and limiting the performance. In this work, we unify two tasks, fashion compatibility modeling and personalized outfit recommendation. Towards this end, we develop a new framework, Hierarchical Fashion Graph Network(HFGN), to model relationships among users, items, and outfits simultaneously. In particular, we construct a hierarchical structure upon user-outfit interactions and outfit-item mappings. We then get inspirations from recent graph neural networks, and employ the embedding propagation on such hierarchical graph, so as to aggregate item information into an outfit representation, and then refine a user's representation via his/her historical outfits. Furthermore, we jointly train these two tasks to optimize these representations. To demonstrate the effectiveness of HFGN, we conduct extensive experiments on a benchmark dataset, and HFGN achieves significant improvements over the state-of-the-art compatibility matching models like NGNN and outfit recommenders like FHN.

연구 동기 및 목표

• 기존 방법들이 호환성 모델링과 개인화된 추천를 별개의 과제로 간주하는 격차를 해소하기 위해.
• 사용자, 아웃핏, 패션 아이템 간의 복잡한 관계를 동시에 모델링하여 추천 품질을 향상시키기 위해.
• 사용자-아웃핏 상호작용과 아웃핏-아이템 매핑 간의 구조적 관계를 忽시함으로써 초래되는 열악한 표현 문제를 해결하기 위해.
• 이전 연구에서 간과되었던 아웃핏 수준의 의미 정보(식별자 ID 임베딩을 통한)를 표현 학습 과정에 통합하기 위해.
• 통합된 히에라르키컬 그래프 구조에서 엔드 투 엔드 학습을 통해 호환성 매칭과 개인화된 추천 과제를 공동 최적화하기 위해.

제안 방법

• 사용자 노드, 아웃핏 노드, 아이템 노드로 구성된 삼중 계층 히에라르키컬 그래프를 구축하며, 간선은 사용자-아웃핏 상호작용과 아웃핏-아이템 매핑을 나타낸다.
• 아이템 수준에서 아웃핏 수준으로 그래프 신경망(GNN) 메시지 전달을 적용하여, 아이템 특징을 아웃핏 표현에 집계한다.
• 개선된 아웃핏 표현을 아웃핏 수준에서 사용자 수준으로 전파하여, 이전 아웃핏 상호작용 기반으로 사용자 임베딩을 업데이트한다.
• 아웃핏의 의미 정보를 캡슐화하기 위해 아웃핏 ID 임베딩을 통합하여, 시각적 특징을 초월한 아웃핏 표현을 향상시킨다.
• 호환성 매칭과 개인화된 추천 과제를 동시에 최적화하기 위해 공동 학습 목표를 사용한다.
• LightGCN의 통찰을 활용하여 특징 변환 및 비선형 활성화 함수를 제거함으로써 GNN 아키텍처를 단순화하고 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 별개의 접근 방식보다 패션 호환성과 개인화된 아웃핏 추천을 더 효과적으로 동시에 모델링할 수 있는가?
• RQ2 사용자, 아웃핏, 아이템 간의 히에라르키컬 구조적 관계를 통합함으로써 아웃핏 추천을 위한 표현 학습이 어떻게 향상되는가?
• RQ3 아웃핏 수준의 의미 정보(식별자 ID 임베딩을 통한)를 추가함으로써 추천 성능에 어떤 영향을 미치는가?
• RQ4 히에라르키컬 그래프 구조를 따라 메시지 전달을 수행함으로써, 상호작용를 별도로 모델링하는 것보다 사용자 및 아웃핏 표현이 더 우수한가?
• RQ5 호환성 및 추천 과제의 공동 최적화가 순차적 또는 독립적인 학습보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• HFGN은 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 모델인 NGNN(Cui 등, 2019)과 FHN(Lu 등, 2019)에 비해 뚜렷한 성능 향상을 보였다.
• 모델은 호환성 매칭 및 개인화된 아웃핏 추천 과제 양쪽 모두에서 NGNN과 FHN를 뛰어넘었으며, 공동 학습의 효과성을 입증했다.
• LightGCN의 제안에 따라 특징 변환 및 비선형 활성화 계층을 제거함으로써 HFGN의 성능이 추가로 향상되었으며, 이는 아키텍처의 단순성에 대한 타당성을 입증했다.
• 아웃핏 ID 임베딩의 통합은 표현 학습을 향상시켜 종합적인 아웃핏 의미 모델링에 기여했다.
• 히에라르키컬 그래프 구조를 따라 메시지 전달이 사용자, 아웃핏, 아이템 간의 복잡한 종속성을 효과적으로 포착하여 사용자 선호도 모델링이 향상되었다.
• 제거 실험 결과, 히에라르키컬 그래프 구조와 공동 학습 모두가 모델의 성능 향상에 기여하는 것으로 확인되었다.