[논문 리뷰] Knowledge Enhanced Neural Fashion Trend Forecasting

Yunshan Ma, Yujuan Ding외 4명|arXiv (Cornell University)|2020. 05. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 4

한 줄 요약

이 논문은 인스타그램에서의 시계열 데이터를 사용하여 세분화된 패션 트렌드 예측을 위한 지식 강화형 순환 신경망인 KERN을 제안한다. 깊이 있는 학습 프레임워크에 내부 유사성 관계와 외부 분류체계 기반 소속 관계를 통합함으로써, KERN은 사용자 그룹 간의 복잡한 패션 트렌드 예측에서 베이스라인을 능가하며, 새로 정제한 대규모 데이터셋(FIT)에서 6개월 및 1년 예측 모두에서 뛰어난 정확도를 보여준다.

ABSTRACT

Fashion trend forecasting is a crucial task for both academia and industry. Although some efforts have been devoted to tackling this challenging task, they only studied limited fashion elements with highly seasonal or simple patterns, which could hardly reveal the real fashion trends. Towards insightful fashion trend forecasting, this work focuses on investigating fine-grained fashion element trends for specific user groups. We first contribute a large-scale fashion trend dataset (FIT) collected from Instagram with extracted time series fashion element records and user information. Further-more, to effectively model the time series data of fashion elements with rather complex patterns, we propose a Knowledge EnhancedRecurrent Network model (KERN) which takes advantage of the capability of deep recurrent neural networks in modeling time-series data. Moreover, it leverages internal and external knowledge in fashion domain that affects the time-series patterns of fashion element trends. Such incorporation of domain knowledge further enhances the deep learning model in capturing the patterns of specific fashion elements and predicting the future trends. Extensive experiments demonstrate that the proposed KERN model can effectively capture the complicated patterns of objective fashion elements, therefore making preferable fashion trend forecast.

연구 동기 및 목표

• 소셜 미디어 데이터 기반의 데이터 기반 방법을 통해 특정 사용자 그룹에 대한 세분화된 패션 트렌드를 예측하는 데 도전한다.
• 세분화된 패션 요소, 장기간의 시간 범위, 사용자 수준의 정보가 부족한 기존 데이터셋의 한계를 극복한다.
• 단순한 계절적 또는 선형 트렌드를 초월하여 패션 트렌드의 복잡한 시간 패턴을 포착할 수 있는 딥 러닝 모델을 개발한다.
• 예측 성능 향상을 위해 내부(유사성) 및 외부(분류체계 기반 소속) 도메인 지식을 모두 통합한다.
• 다양한 패션 속성에 대한 사용자 인구통계학적 특성에 맞춘 트렌드 예측을 통해 실질적인 패션 트렌드 보고서를 생성한다.

제안 방법

• 인스타그램에서부터 시간 시계열 패션 요소 기록과 사용자 인구통계학적 정보(연령, 성별, 거주지)를 수집하여 대규모 패션 트렌드 데이터셋(FIT)을 구축한다.
• 양방향 GRU를 사용한 시퀀스 모델링과 어텐션 메커니즘을 결합한 지식 강화형 순환 신경망(KERN)을 설계한다.
• 유사한 패션 요소 간의 의미적 유사성을 유지하기 위해 삼중조 정규화 손실을 통해 내부 지식을 통합한다.
• 계층적 패션 분류체계 트리에서 메시지 전달 메커니즘을 사용하여 외부 지식을 통합하여 요소 임베딩을 업데이트한다.
• 재구성, 삼중조, 지식 기반 정규화 항목을 포함한 다중 작업 손실을 사용하여 모델을 종합적으로 훈련한다.
• 사용자별 임베딩을 활용하여 트렌드 예측을 개인화함으로써, 다양한 인구통계학적 특성에 맞는 그룹별 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소셜 미디어 데이터를 활용하여 다양한 사용자 그룹에 대해 세분화되고 복잡한 패션 트렌드를 효과적으로 예측할 수 있는 데이터 기반 모델은 가능한가?
• RQ2 패션 요소 간의 유사성과 같은 내부 지식을 통합할 경우 트렌드 예측 성능는 어떻게 향상되는가?
• RQ3 패션 카테고리의 계층적 분류체계와 같은 외부 지식은 모델의 일반화 능력과 트렌드 예측 능력에 얼마나 기여하는가?
• RQ4 사용자 수준의 정보가 포함될 경우 패션 트렌드 예측의 정확도와 개인화 수준는 어떻게 변화하는가?
• RQ5 제안된 모델은 다차원 패션 진화를 반영하는 종합적이고 해석 가능한 패션 트렌드 보고서를 생성할 수 있는가?

주요 결과

• KERN 모델은 FIT 데이터셋에서 기존의 베이스라인 모델 대비 6개월 및 1년 예측 모두에서 뛰어난 성능을 기록한다.
• 내부 또는 외부 지식을 제거할 경우 성능 저하가 발생하며, 특히 장기 예측에서 가장 뚜렷한 감소가 관찰된다.
• 모든 지식을 제거한 KERN-IE 모델은 가장 열악한 성능을 보이며, 이는 복잡한 패션 패턴을 다루는 데 지식 통합이 필수적임을 확인한다.
• 사용자별 트렌드 예측은 전반적인 예측보다 더 높은 정확도를 보이며, 인구통계학적 정보의 통합이 가치가 있음을 입증한다.
• 시각화 결과는 KERN이 색상, 무늬, 스타일과 같은 패션 요소 간의 비선형적이고 복잡한 트렌드 패턴을 효과적으로 포착함을 보여준다.
• KERN 예측에서 유도된 종합적인 패션 트렌드 보고서(예: 파리에 거주하는 여성 대상)는 카테고리에서부터 데님 워시 색상과 같은 세부 속성까지의 다차원 트렌드를 성공적으로 반영한다.