[논문 리뷰] Who, Where, and What to Wear? Extracting Fashion Knowledge from Social Media

Yunshan Ma, Xun Yang외 3명|arXiv (Cornell University)|2019. 08. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 10

한 줄 요약

이 논문은 사회적 미디어에서 사람, 특별한 행사, 의류 간의 연결 고리를 자동으로 추출하기 위해 맥락 기반 패션 개념 학습 모듈과 약한 레이블 모델링을 활용한 새로운 방법을 제안한다. 이는 노이즈가 많고 제한된 레이블이 있는 데이터를 다루는 데 유리하다. 접근 방식은 이미지, 텍스트, 메타데이터의 다중 모odal 분석을 통합하여 패션 개념 예측에서 뛰어난 성능을 달성하고, 추후 응용 프로그램(예: 추천 시스템)을 위한 실질적이고 통계적으로 타당한 패션 지식을 생성한다.

ABSTRACT

Fashion knowledge helps people to dress properly and addresses not only physiological needs of users, but also the demands of social activities and conventions. It usually involves three mutually related aspects of: occasion, person and clothing. However, there are few works focusing on extracting such knowledge, which will greatly benefit many downstream applications, such as fashion recommendation. In this paper, we propose a novel method to automatically harvest fashion knowledge from social media. We unify three tasks of occasion, person and clothing discovery from multiple modalities of images, texts and metadata. For person detection and analysis, we use the off-the-shelf tools due to their flexibility and satisfactory performance. For clothing recognition and occasion prediction, we unify the two tasks by using a contextualized fashion concept learning module, which captures the dependencies and correlations among different fashion concepts. To alleviate the heavy burden of human annotations, we introduce a weak label modeling module which can effectively exploit machine-labeled data, a complementary of clean data. In experiments, we contribute a benchmark dataset and conduct extensive experiments from both quantitative and qualitative perspectives. The results demonstrate the effectiveness of our model in fashion concept prediction, and the usefulness of extracted knowledge with comprehensive analysis.

연구 동기 및 목표

• 사람, 행사, 의류를 연결하는 대규모 사용자 중심 패션 지식의 부족을 해결하기 위해.
• 비정형이며 다중 모달 소셜 미디어 콘텐츠에서 자동으로 패션 지식을 추출할 수 있는 방법을 개발하기 위해.
• 청결한 레이블이 부족한 상황에서 강력한 학습 프레임워크를 활용해 약한 레이블 데이터를 활용함으로써 인간 레이블의 제한을 극복하기 위해.
• 다양한 모달 간의 맥락적 종속성을 활용하여 의류, 행사, 사람 속성 등의 패션 개념 예측을 통합하기 위해.
• 정량적 및 정성적 분석을 통해 추출된 지식의 타당성과 유용성을 종합적으로 검증하기 위해.

제안 방법

• 이미지, 텍스트, 메타데이터 등의 다중 모달 입력을 사용하여 패션 개념 간의 종속성과 상관관계를 모델링하는 맥락 기반 패션 개념 학습 모듈을 제안한다.
• 노이즈가 많은 기계 생성 레이블에 대응하기 위해 레이블 전이 행렬을 활용한 약한 레이블 모델링 모듈을 도입한다.
• 유연성과 성능을 유지하기 위해 사전 구축된 도구(예: 성별, 연령)를 활용해 사람 속성 검출을 수행한다.
• 청결한 인간 레이블 데이터와 기계 레이블 데이터를 결합하여 모델의 일반화 능력을 향상시키고 레이블링 부담을 줄인다.
• 고빈도의 삼중조(행사, 사람, 의류)를 추출하기 위해 통계적 집계 파이프라인을 적용한다.
• 공유된 맥락적 표현을 사용하여 의류 인식, 행사 예측, 사람 속성 검출을 동시에 최적화하는 다중 작업 학습 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 비정형 소셜 미디어 콘텐츠에서 사람, 행사, 의류를 연결하는 패션 지식을 효과적으로 추출할 수 있는가?
• RQ2 패션 개념 간의 맥락적 종속성을 어떻게 모델링하여 예측 정확도를 향상시킬 수 있는가?
• RQ3 청결한 레이블이 부족한 상황에서 약한 레이블 데이터가 패션 개념 학습에 얼마나 기여할 수 있는가?
• RQ4 추출된 패션 지식은 실제 옷차림 패턴과 사회적 관례를 반영하는가?
• RQ5 제안된 방법은 패션 추천과 같은 후속 응용 프로그램을 지원하는 데 어떻게 기여하는가?

주요 결과

• 제안된 모델은 패션 개념 예측에서 최신 기술 수준의 성능을 달성하여 맥락 기반 학습과 약한 감독의 효과성을 입증한다.
• 추출된 패션 지식는 회의에서 정장을, 웨딩에서 룩북 규정을 포함한 합리적이고 현실적인 패턴을 드러낸다.
• 범주 간 매칭 분석 결과 강력한 호환성 경향이 나타났다—예를 들어 셔츠는 반바지보다 바지와 자주 함께 착용되며, 긴 소매는 전체 기장 의류와 강하게 연관된다.
• 모델은 여성의 드레스 선호도와 남성의 티셔츠 및 바지 선호도 같은 성별 특화 트렌드를 성공적으로 식별한다.
• 지식 추출 파이프라인은 일반적인 패션 관례와 일치하며 추천 시스템에 유용한 고빈도 삼중조(행사, 사람, 의류)를 생성한다.
• 약한 레이블 모델링 모듈에 내장된 레이블 전이 행렬은 노이즈가 많은 레이블에 대한 강건성을 크게 향상시켜 전체 학습 성능을 향상시킨다.