[논문 리뷰] Visually-Aware Personalized Recommendation using Interpretable Image Representations

Charles Packer, Julian McAuley외 1명|arXiv (Cornell University)|2018. 06. 26.

Visual Attention and Saliency Detection참고 문헌 5인용 수 15

한 줄 요약

이 논문은 세분화된 속성 해석을 통해 유추된 해석 가능한 이미지 표현을 사용하여 시각적 인식 기반 개인화 추천 시스템을 제안하며, 상태 기반 순위 성능를 달성하면서도 모델의 해석 가능성을 보장한다. 이는 '가죽', '플레어'와 같은 이산적 시각적 속성에 대한 사용자 고유의 친화도를 학습함으로써, 시간에 따라 변화하는 추세 분석과 상호작용 가능한 개인화를 지원한다.

ABSTRACT

Visually-aware recommender systems use visual signals present in the underlying data to model the visual characteristics of items and users' preferences towards them. In the domain of clothing recommendation, incorporating items' visual information (e.g., product images) is particularly important since clothing item appearance is often a critical factor in influencing the user's purchasing decisions. Current state-of-the-art visually-aware recommender systems utilize image features extracted from pre-trained deep convolutional neural networks, however these extremely high-dimensional representations are difficult to interpret, especially in relation to the relatively low number of visual properties that may guide users' decisions. In this paper we propose a novel approach to personalized clothing recommendation that models the dynamics of individual users' visual preferences. By using interpretable image representations generated with a unique feature learning process, our model learns to explain users' prior feedback in terms of their affinity towards specific visual attributes and styles. Our approach achieves state-of-the-art performance on personalized ranking tasks, and the incorporation of interpretable visual features allows for powerful model introspection, which we demonstrate by using an interactive recommendation algorithm and visualizing the rise and fall of fashion trends over time.

연구 동기 및 목표

• 패션 추천 시스템에서 사용되는 딥러닝 기반 시각적 표현의 해석 가능성 부족 문제를 해결하기 위해.
• 사용자 선호도를 추상적인 임베딩이 아닌 이산적 시각적 속성(예: 색상, 소재, 스타일)에 대한 명시적 친화도로 모델링하기 위해.
• 사용자가 항목의 특징이나 시각적 차원을 기반으로 선호도를 동적으로 조정할 수 있는 상호작용 가능한 추천 시스템을 제공하기 위해.
• 시간에 따라 변화하는 시각적 속성의 인기 변화를 분석함으로써, 기능 수준에서 패션 트렌드를 추적하기 위해.

제안 방법

• 모델은 세분화된 속성 탐지 프레임워크인 DeepFashion의 수정된 버전을 사용하여 제품 이미지에서 해석 가능한 시각적 특징을 추출하며, 세분화된 레이블이 부여된 기업 소유의 패션 데이터셋으로 훈련된다.
• 베이지안 개인화 순위(BPR)를 개선하기 위해, 시각적 요소를 잠재 선호도 차원으로 매핑하는 학습 가능한 임베딩 행렬 E를 도입한다.
• 사용자 선호도는 이산적 시각적 속성 각각에 대한 민감도를 측정하는 애호 벡터 p_u로 모델링되며, 원-핫 인코딩된 특징을 사용하는 수정된 선호도 예측기로 계산된다.
• 애호 벡터는 해석 가능성 확보를 위해 정규화되며, 이는 시각적 특징 공간에서 최근접 이웃 검색을 통해 추천을 생성하는 데 사용된다.
• 사용자가 목표 항목(식별식 6을 통해) 또는 특정 시각적 차원(식별식 7을 통해)에 따라 p_u를 동적으로 업데이트함으로써 상호작용 가능한 개인화가 가능해진다.
• 시간에 따른 패션 트렌드 추적은 임베딩 행렬과 가중치 벡터 w(t)의 곱을 사용하여 각 시각적 특징의 시간 가중치 영향을 계산함으로써 달성된다(식별식 8).

실험 결과

연구 질문

• RQ1 세분화된 속성 해석에서 파생된 해석 가능한 시각적 특징이 고차원의 투명한 CNN 특징보다 개인화된 패션 추천에서 더 우수한 성능을 낼 수 있는가?
• RQ2 사용자 선호도가 추상적인 임베딩이 아닌 이산적 시각적 속성에 대한 친화도로 의미 있게 표현될 수 있는 정도는 어느 정도인가?
• RQ3 해석 가능한 시각적 특징을 통해 사용자가 항목이나 특징을 선택함으로써 선호도를 수정할 수 있는 상호작용 가능한 추천 시스템을 제공할 수 있는가?
• RQ4 모델이 잠재 차원이 아닌 특정 속성 수준(예: '찢어진' 청바지)에서 의미 있고 해석 가능한 패션 트렌드 변화 시각화를 제공할 수 있는가?

주요 결과

• 제안된 모델은 개인화 순위 작업에서 최신 기술 수준의 성능를 달성하며, 투명한 CNN 특징을 사용하는 기준 모델들을 능가한다.
• 해석 가능한 시각적 특징의 사용은 기존 방법과 비교해 차원을 줄이면서도 추천 정확도를 유지하거나 향상시킨다.
• 사용자 애호 벡터 p_u는 특정 시각적 속성(예: '가죽', '플레어')에 대한 개인의 선호도를 성공적으로 포착하며, 모델 내부 분석을 위한 직관적인 접근을 가능하게 한다.
• 동적 애호 업데이트(식별식 6 및 7)를 통한 상호작용 추천은 사용자가 항목이나 특징을 선택함으로써 결과를 맞춤화할 수 있도록 하여 사용성 향상을 이룬다.
• 모델은 특정 기능 수준에서 패션 트렌드 변화를 직접적으로 시각화할 수 있으며, 예를 들어 '점프スーツ'나 '찢어진' 스타일과 같은 속성의 인기 상승 및 하락 추세를 시간에 따라 추적할 수 있다.
• 식별식 8를 사용한 시간적 트렌드 분석은 해석 가능한 속성 인기 변화를 드러내며, 애매한 잠재 공간 해석에 의존하지 않고 실제 패션 동적 변화에 대한 통찰을 제공한다.