[논문 리뷰] Looking at Outfit to Parse Clothing

Pongsate Tangseng, Zhipeng Wu외 1명|arXiv (Cornell University)|2017. 03. 04.

Fashion and Cultural Textiles참고 문헌 39인용 수 48

한 줄 요약

이 논문은 옷 조합의 조합적 의미를 모델링하고 일관된 레이블 할당을 위해 사이드패스 옷차림 인코더와 조건부 랜덤 필드(CRF)를 통합한 향상된 완전 컨volution 네트워크(FCN)를 제안한다. 이 방법은 추가적인 감독 없이 Fashionista 및 CFPD 데이터셋에서 최신 기술 성능을 달성하며, 학습된 옷차림 인코더 표현은 효과적인 스타일 기반 이미지 검색을 가능하게 한다.

ABSTRACT

This paper extends fully-convolutional neural networks (FCN) for the clothing parsing problem. Clothing parsing requires higher-level knowledge on clothing semantics and contextual cues to disambiguate fine-grained categories. We extend FCN architecture with a side-branch network which we refer outfit encoder to predict a consistent set of clothing labels to encourage combinatorial preference, and with conditional random field (CRF) to explicitly consider coherent label assignment to the given image. The empirical results using Fashionista and CFPD datasets show that our model achieves state-of-the-art performance in clothing parsing, without additional supervision during training. We also study the qualitative influence of annotation on the current clothing parsing benchmarks, with our Web-based tool for multi-scale pixel-wise annotation and manual refinement effort to the Fashionista dataset. Finally, we show that the image representation of the outfit encoder is useful for dress-up image retrieval application.

연구 동기 및 목표

• 더 높은 수준의 의미적 및 맥락적 단서를 활용하여 세분화된 의류 카테고리 간의 해석 불일치 문제를 해결하기 위해.
• 예를 들어 드레스와 스커트를 함께 착용하지 않는 등의 조합적 선호도를 사이브랜치 옷차림 인코더를 통해 모델링하여 의류 분할 성능를 향상시키기 위해.
• 예측의 공간적 및 의미적 일관성을 확보하기 위해 CRF를 사용하여 레이블 일관성을 향상시키기 위해.
• 새로운 웹 기반 픽셀 수준의 주석 도구를 사용하여 주석 품질이 벤치마크 성능에 미치는 영향을 조사하기 위해.
• 옷차림 인코더의 내부 표현이 옷차림 스타일 기반 검색에 어떻게 활용될 수 있는지 탐색하기 위해.

제안 방법

• 의류 조합의 의미 일관성을 캡처하기 위해, 다양한 의류 간의 조합적 선호도를 반영하는 일관된 의류 레이블을 예측하는 사이브랜치 네트워크인 옷차림 인코더를 도입한다.
• 공간적 및 의미적 일관성을 강제하여 FCN 예측을 개선하기 위해 완전 연결된 CRF 레이어를 통합한다.
• 제한된 주석 데이터를 활용하여 사전 학습된 FCN를 사용해 전체 네트워크를 엔드 투 엔드로 미세조정하며, 추가 감독 없이 학습한다.
• 데이터셋 품질 향상을 위해 다중 해상도 및 고해상도 픽셀 단위 레이블링을 위한 웹 기반 상호작용 주석 도구를 개발한다.
• 이미지 검색 작업에 사용하기 위해 옷차림 인코더에서 256차원의 압축된 표현을 추출한다.
• 기본선으로서 일반적인 VGG16 fc7 특징과 비교하기 위해, 인코더의 표현에서 유클리드 거리를 사용해 검색을 수행한다.

실험 결과

연구 질문

• RQ1 사이드패스 옷차림 인코더가 옷 조합의 의미 일관성을 모델링함으로써 의류 분할 성능를 향상시킬 수 있는가?
• RQ2 CRF 개선이 의류 분할 예측의 레이블 일관성에 어느 정도 기여하는가?
• RQ3 주석 품질이 의류 분할 데이터셋의 벤치마크 성능에 어떤 영향을 미치는가?
• RQ4 옷차림 인코더의 내부 표현은 스타일 기반 이미지 검색에 효과적으로 활용될 수 있는가?
• RQ5 제안된 방법이 Fashionista 및 CFPD와 같은 공개 벤치마크에서 최신 기술 성능를 달성하는가?

주요 결과

• 제안된 모델은 추가 감독 없이도 Fashionista 및 CFPD 데이터셋에서 최신 기술 성능를 달성한다.
• 학습 및 테스트 분할 간에 뚜렷한 성능 격차가 나타나며, 더 크고 품질이 높은 벤치마크가 필요함을 시사한다.
• 웹 기반 도구를 사용한 Fashionista 데이터셋의 수동 보완은 특히 '블레이저'와 '자켓'과 같은 유사 카테고리 간의 혼동을 줄이는 데 기여했다.
• 옷차림 인코더가 학습한 표현은 색상이나 질감이 다를지라도 '자켓 + 상의 + 반바지'와 같은 의미적으로 유사한 옷 조합을 효과적으로 검색할 수 있게 한다.
• 옷차림 인코더를 사용한 검색은 배경이나 색상과 같은 저수준의 외관 특징에 의존하는 일반적인 VGG16 fc7 특징보다 의류 조합에 초점을 맞추어 더 우수한 성능를 보였다.
• 옷차림 인코더의 내부 표현은 압축되어 있으며, 추가 학습 비용 없이도 패션 중심 응용에 매우 유용하다.