[논문 리뷰] Towards Predicting the Likeability of Fashion Images

Jinghua Wang, Abrar Abdul Nabi외 3명|arXiv (Cornell University)|2015. 11. 17.

Aesthetic Perception and Analysis참고 문헌 46인용 수 6

한 줄 요약

이 논문은 딥러닝을 사용하여 의미적 및 데이터 기반 속성을 학습하고, 고차원 속성 상관관계를 포착하는 합-곱 신경망(SPN)을 통해 이미지 쌍을 순위 매김함으로써 패션 이미지의 선호도를 예측하는 방법을 제안한다. 이 방법은 최신 기술 수준의 순위 정확도를 달성하며, Pinterest 데이터에서 데이터 기반 속성이 의미적 속성보다 21% 높은 성능을 보였다.

ABSTRACT

In this paper, we propose a method for ranking fashion images to find the ones which might be liked by more people. We collect two new datasets from image sharing websites (Pinterest and Polyvore). We represent fashion images based on attributes: semantic attributes and data-driven attributes. To learn semantic attributes from limited training data, we use an algorithm on multi-task convolutional neural networks to share visual knowledge among different semantic attribute categories. To discover data-driven attributes unsupervisedly, we propose an algorithm to simultaneously discover visual clusters and learn fashion-specific feature representations. Given attributes as representations, we propose to learn a ranking SPN (sum product networks) to rank pairs of fashion images. The proposed ranking SPN can capture the high-order correlations of the attributes. We show the effectiveness of our method on our two newly collected datasets.

연구 동기 및 목표

• 사용자 전문가에 의존하는 것보다 선호도 예측 기반으로 패션 이미지를 자동으로 순위 매길 수 있는 시스템을 개발하는 것.
• 제한된 레이블이 있는 데이터에서 패션 이미지의 분류 가능한 시각적 표현을 학습하는 과제를 해결하는 것.
• 비지도 클러스터링과 CNN 학습을 통해 사전에 이름이 지정되지 않은 데이터 기반 시각적 패턴을 발견하는 것.
• 패션 속성 간의 고차원 상관관계를 모델링하여 이미지 순위 매김 성능을 향상시키는 것.
• Pinterest와 Polyvore에서 새로 수집한 두 데이터셋을 대상으로 사용자가 좋아하는 이미지 쌍에 초점을 맞춰 방법을 평가하는 것.

제안 방법

• 제한된 훈련 데이터에서 의미적 속성을 학습하기 위해 공유 레이어를 가진 다중 작업 컨볼루션 신경망(CNN)을 활용하여 속성 유형 간 일반화 능력을 향상시킨다.
• 의미 없는 이름이 부여된 시각적 패턴으로서 데이터 기반 속성을 식별하기 위해, 시각 클러스터와 CNN 특징 표현을 반복적으로 공동으로 발견하고 개선하는 비지도 방식의 반복 알고리즘을 제안한다.
• 의미적 속성과 데이터 기반 속성의 활성화 벡터를 사용하여 패션 이미지를 표현함으로써 중위 수준의 시각적 표현을 형성한다.
• 복잡한 고차원 상관관계를 모델링하기 위해 순위 매김을 위한 합-곱 신경망(SPN)을 활용하며, 이는 강력한 쌍별 이미지 순위 매김을 가능하게 한다.
• 이미지 쌍의 상대적 평가 기반으로 파라미터를 조정하는 손실 함수를 사용하여 SPN을 훈련한다: 한 이미지가 다른 이미지보다 훨씬 더 많은 좋아요를 받을 경우 루트 값 간의 차이를 증가시킨다.
• 지역화된 속성 활성화를 위한 세분화된 표현을 가능하게 하기 위해, 데이터 기반 속성의 존재를 탐지하기 위해 슬라이딩 윈도우 방식을 사용한다.

실험 결과

연구 질문

• RQ1 의미적 및 데이터 기반 속성 모두가 사용자 선호도 예측을 위한 패션 이미지를 효과적으로 표현할 수 있는가?
• RQ2 사전에 레이블이 지정되지 않은 방식으로 발견된 데이터 기반 속성은 기존 의미적 속성과 비교해 순위 매김 성능에서 어떻게 다른가?
• RQ3 합-곱 신경망(SPN)이 고차원 속성 상관관계를 효과적으로 모델링하여 기존 순위 매김 모델을 초월해 이미지 순위 매김 성능을 향상시킬 수 있는가?
• RQ4 데이터 기반 속성의 수가 순위 정확도에 미치는 영향은 무엇이며, 최적 성능을 내기 위해 얼마나 많은 속성이 필요한가?
• RQ5 모델은 더 높거나 낮은 선호도와 관련된 의미 있는 상관관계를 가지는 속성 조합을 성공적으로 발견할 수 있는가?

주요 결과

• 제안된 SPN 기반 순위 매김 모델은 순위 SVM 및 구조적 순위 SVM을 모두 초월하여 Pinterest 및 Polyvore 데이터셋에서 가장 높은 순위 정확도를 달성했다.
• 데이터 기반 속성이 의미적 속성보다 뚜렷하게 뛰어나며, 더 높은 분류 능력과 더 많은 양으로 인해 Pinterest 데이터셋에서 순위 정확도가 21% 향상되었다.
• 50개의 데이터 기반 속성을 100개로 늘였을 때 SPN의 순위 정확도가 11.2% 향상되었지만, 150개에서 192개로 늘였을 때는 오직 1.76% 향상에 그쳐 수익 감소 현상을 보였다.
• 모델은 상관관계 있는 속성 조합을 성공적으로 식별했다: 예를 들어 어깨, 목, 트위스트 영역의 세 가지 색다운 데이터 기반 속성이 함께 작용할 경우 선호도가 향상되며, 다른 조합은 선호도를 낮춘다.
• θ(좋아요 수 차이에 대한 임계값)의 값이 성능에 큰 영향을 미친다; 낮은 θ 값은 미세하고 공감대가 형성되지 않은 차이로 인해 신뢰성과 정확도를 떨어뜨린다.
• SPN의 루트 값은 선호도를 효과적으로 예측한다: 높은 값은 더 많은 좋아요와 관련되며, 모델은 특정 속성 조합이 이미지의 매력도를 높이거나 떨어뜨리는지를 식별할 수 있다.