[논문 리뷰] Learning the Compositional Visual Coherence for Complementary Recommendations

Zhi Li, Bo Wu외 4명|arXiv (Cornell University)|2020. 06. 08.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 보완적 아이템 추천을 위한 조합적 시각적 일관성—전반적이고 의미-중점적인—을 모델링하기 위해 콘텐츠 주의 신경망(CANN)을 제안한다. 다중 헤드 주의를 통해 전반적 일관성을, 계층적 주의를 통해 색상, 질감, 하이브리드-중점 표현을 통해 국소적 일관성을 통합함으로써 CANN는 최신 기법들을 능가하여 FITB_Random 벤치마크에서 90.7%의 정확도와 95.1%의 MRR를 달성한다.

ABSTRACT

Complementary recommendations, which aim at providing users product suggestions that are supplementary and compatible with their obtained items, have become a hot topic in both academia and industry in recent years. %However, it is challenging due to its complexity and subjectivity. Existing work mainly focused on modeling the co-purchased relations between two items, but the compositional associations of item collections are largely unexplored. Actually, when a user chooses the complementary items for the purchased products, it is intuitive that she will consider the visual semantic coherence (such as color collocations, texture compatibilities) in addition to global impressions. Towards this end, in this paper, we propose a novel Content Attentive Neural Network (CANN) to model the comprehensive compositional coherence on both global contents and semantic contents. Specifically, we first propose a extit{Global Coherence Learning} (GCL) module based on multi-heads attention to model the global compositional coherence. Then, we generate the semantic-focal representations from different semantic regions and design a extit{Focal Coherence Learning} (FCL) module to learn the focal compositional coherence from different semantic-focal representations. Finally, we optimize the CANN in a novel compositional optimization strategy. Extensive experiments on the large-scale real-world data clearly demonstrate the effectiveness of CANN compared with several state-of-the-art methods.

연구 동기 및 목표

• 보완적 추천에서 공구매 관계를 초월한 조합적 시각적 일관성 모델링의 격차를 메운다.
• 아이템 컬렉션 내에서 전반적 시각적 일관성과 세밀한 의미-중점 일관성(예: 색상, 질감)을 모두 포착한다.
• 사용자 의사결정을 시뮬레이션하기 위한 새로운 조합 최적화 전략을 통해 추천 품질을 향상시킨다.
• 추천 과정에 시각적 의미를 통합함으로써 더 정확하고 시각적으로 일관된 추천을 가능하게 한다.

제안 방법

• 아이템 특징 간 전반적 조합 일관성을 모델링하기 위해 다중 헤드 주의를 활용한 전반적 일관성 학습(GCL) 모듈을 제안한다.
• 색상-중점, 질감-중점, 하이브리드-중점 특징를 포함한 별도의 시각 모odalities에서 의미-중점 표현을 생성한다.
• 의미-중점 표현에서 국소적 일관성을 학습하기 위해 계층적 주의를 활용한 중점 일관성 학습(FCL) 모듈을 설계한다.
• 사용자의 시각적 호환성 인식과 일치하는 새로운 조합 최적화 전략을 통해 CANN 모델을 최적화한다.
• 정확도와 MRR를 평가 지표로 사용하여 대규모 실세계 데이터셋에서 모델을 엔드 투 엔드로 훈련하고 평가한다.
• 어 attention 점수를 시각화하여 모델이 아이템 쌍 간의 시각적 일관성(예: 색상 및 무늬 일치)을 어떻게 포착하는지 해석한다.

실험 결과

연구 질문

• RQ1 보완적 추천에서 공구매 패tern을 초월한 시각적 조합 일관성은 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 색상, 질감, 하이브리드 시각적 의미가 보완적 아이템 호환성 예측에 어느 정도 기여하는가?
• RQ3 전반적이고 중점적 시각적 일관성을 통합한 통합 신경망 아키텍처는 추천 성능을 향상시킬 수 있는가?
• RQ4 실세계 환경에서 제안된 CANN 모델은 최신 기법들과 비교해 시각적 호환성을 얼마나 잘 포착하는가?

주요 결과

• 모든 의미-중점 구성 요소를 포함한 CANN는 FITB_Random 벤치마크에서 90.7%의 정확도와 95.1%의 MRR를 달성하여 모든 베이스라인을 능가했다.
• 하이브리드-중점 일관성 학습 구성 요소가 가장 높은 성능를 보였으며, 이는 색상이 시각적 호환성에서 지배적인 역할을 함을 시사한다.
• 전체 의미-중점 모델링을 통한 CANN는 단일 모odal 모델보다 뚜렷하게 뛰어난 성능를 보였으며, 특히 FITB_Category 세트에서 복잡한 조합 관계를 포착하는 데 성공함을 입증했다.
• attention 점수의 시각화 결과 CANN가 높은 일관성 쌍(예: 검은 티셔츠와 어두운 파란 반바지, 레오파드 프린트 샌들과 팔찌)을 정확히 식별하고 있음을 확인하여 해석 가능성의 타당성을 입증했다.
• GCL 모듈은 전반적 조합 일관성을 효과적으로 학습했고, FCL 모듈은 국소적 의미 정렬을 향상시켜 성능 향상에 상호보완적으로 기여했다.
• 제안된 조합 최적화 전략은 사용자 인식과의 일치를 향상시켜, 두 테스트 세트에서 모두 더 높은 정확도와 MRR로 증명되었다.