[논문 리뷰] FashionSearchNet-v2: Learning Attribute Representations with Localization for Image Retrieval with Attribute Manipulation

Kenan E. Ak, Joo‐Hwee Lim외 3명|arXiv (Cornell University)|2021. 11. 28.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

FashionSearchNet-v2는 클래스 활성 맵(CAM)을 사용하여 특성별 영역을 분리하고 국소화된 영역에서 삼중체 손실을 적용하여 유사도 학습을 향상시키는 약한 지도 학습 및 국소화 인식 기반의 딥러닝 프레임워크를 제안한다. 이는 다양한 패션 및 특성-rich 데이터셋에서 최신 기술을 초월하며, 다른 이미지 특성을 유지하면서 정밀하고 설명 가능한 특성 조작을 가능하게 한다.

ABSTRACT

The focus of this paper is on the problem of image retrieval with attribute manipulation. Our proposed work is able to manipulate the desired attributes of the query image while maintaining its other attributes. For example, the collar attribute of the query image can be changed from round to v-neck to retrieve similar images from a large dataset. A key challenge in e-commerce is that images have multiple attributes where users would like to manipulate and it is important to estimate discriminative feature representations for each of these attributes. The proposed FashionSearchNet-v2 architecture is able to learn attribute specific representations by leveraging on its weakly-supervised localization module, which ignores the unrelated features of attributes in the feature space, thus improving the similarity learning. The network is jointly trained with the combination of attribute classification and triplet ranking loss to estimate local representations. These local representations are then merged into a single global representation based on the instructed attribute manipulation where desired images can be retrieved with a distance metric. The proposed method also provides explainability for its retrieval process to help provide additional information on the attention of the network. Experiments performed on several datasets that are rich in terms of the number of attributes show that FashionSearchNet-v2 outperforms the other state-of-the-art attribute manipulation techniques. Different than our earlier work (FashionSearchNet), we propose several improvements in the learning procedure and show that the proposed FashionSearchNet-v2 can be generalized to different domains other than fashion.

연구 동기 및 목표

• 사용자가 특정 특성(예: 칼라 스타일, 색상)을 수정하면서 다른 특성을 유지하고자 하는 전자상거래 환경에서 특성 조작을 포함한 이미지 검색의 과제를 해결한다.
• 약한 지도 학습을 통한 국소화를 통해 패션 이미지의 다수의 공간적으로 분리된 특성에 대해 관련 이미지 영역에 집중함으로써 특징 표현 학습을 향상시킨다.
• 각 특성에 대해 분리된 국소 표현을 학습하고 특성 메모리 블록을 통해 융합함으로써 영향력 있고 설명 가능한 검색을 가능하게 한다.
• 이전 방법들이 공간적 주의를 결여하거나 전역 특징에 의존하여 관련 없는 특성에 의해 오염될 수 있다는 한계를 극복한다.
• 강건한 국소화된 특성 표현을 활용하여 패션 외의 분야로도 일반화할 수 있도록 한다.

제안 방법

• 전역 평균 풀링(GAP)과 함께 클래스 활성 맵(CAM)을 사용하여 경계 상자 레이블 없이도 각 특성에 대해 관련 영역을 국소화하는 공간적 주의 맵(AAMs)을 생성한다.
• AAMs에 대해 ROI 풀링을 적용하여 각 특성에 특화된 국소화된 특징 표현을 추출함으로써 관련 없는 이미지 부분의 간섭을 줄인다.
• 각 국소화된 영역에 대해 별도로 특성 분류 손실과 삼중체 순서 손실을 적용하여 네트워크를 동시에 학습시킴으로써 훈련 시 삼중체 다양성을 증가시키고 특성 유사도의 엔드 투 엔드 학습을 가능하게 한다.
• 유연한 쿼리 이미지의 특성 표현을 실시간으로 교체할 수 있도록 가능한 학습 가능한 특성 메모리 블록을 도입한다.
• 국소화된 표현과 전역 특징을 융합하여 국소화 오류에 대한 강건성을 향상시킨다.
• 공유 백본 네트워크를 사용해 초기 특징을 추출한 후, 각 특성에 대해 별도의 브랜치를 통해 독립적인 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 CAM를 통한 약한 지도 학습을 통한 국소화가 특성 조작을 포함한 이미지 검색에서 특성 표현의 분류 능력을 향상시키는가?
• RQ2 전역 특징이 아닌 국소화된 영역에 삼중체 손실을 적용할 경우 더 나은 유사도 학습과 검색 성능를 달성하는가?
• RQ3 제안된 특성 메모리 블록이 검색 중 실시간으로 동적 특성 조작을 가능하게 하는 데 얼마나 효과적인가?
• RQ4 국소화가 정확하지 않을 경우 전역 특징과의 융합이 얼마나 강건성을 향상시키는가?
• RQ5 FashionSearchNet-v2는 복잡한 다중 특성 이미지를 포함한 패션 외 분야 및 데이터셋으로 일반화될 수 있는가?

주요 결과

• FashionSearchNet-v2는 Shopping100k, DARN, iMaterialist, CelebA를 포함한 여러 벤치마크 데이터셋에서 최신 기술인 AMNet 및 기타 SOTA 방법을 초월한다.
• 더 깔끔하고 균일한 패션 이미지로 시각적 방해 요소가 적어 Shopping100k에서 더 높은 Top-1 및 Top-5 검색 정확도를 달성한다.
• iMaterialist에서는 노이즈가 많고 실제 거리의 이미지, 복잡한 배경 및 시점 변화로 인해 Shopping100k에 비해 성능이 낮다.
• CelebA 데이터셋은 정면, 잘 조명된 얼굴 이미지와 패션 특성에 비해 더 적고 단순한 얼굴 특성 덕분에 가장 높은 전체 성능를 기록한다.
• 특징 융합이 약간의 강건성을 향상시키지만 성능 향상은 크게 기대할 수 없어, 국소화된 표현이 이미 매우 정확하다는 것을 시사한다.
• 모델은 효율적인 추론을 구현하여 10,000개의 이미지에서 특징을 추출하는 데 약 60초가 소요되며, ROI 추출은 이미지당 약 0.002초 밖에 소요되지 않아 실시간 응용에 적합하다.