[논문 리뷰] Images Don't Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank

Corey Lynch, Kamelia Aryafar외 1명|arXiv (Cornell University)|2015. 11. 20.

Image Retrieval and Classification Techniques참고 문헌 15인용 수 11

한 줄 요약

이 논문은 사전 훈련된 VGG-19 네트워크에서 추출한 깊이 있는 시각적 의미 특징과 텍스트 특징을 통합하여 전자상거래 검색 순위를 향상시키는 다중모달 러닝-투-랭크 프레임워크를 제안한다. ImageNet으로 훈련된 CNN에서 특징을 전이함으로써, 텍스트 전용 기반 모델에 비해 평균 NDCG에서 1.7% 향상을 달성하여, 텍스트 전용 모델이 잘못 순위를 매긴 빛의로 구분되는 시각적 특징을 효과적으로 분리한다.

ABSTRACT

Search is at the heart of modern e-commerce. As a result, the task of ranking search results automatically (learning to rank) is a multibillion dollar machine learning problem. Traditional models optimize over a few hand-constructed features based on the item's text. In this paper, we introduce a multimodal learning to rank model that combines these traditional features with visual semantic features transferred from a deep convolutional neural network. In a large scale experiment using data from the online marketplace Etsy, we verify that moving to a multimodal representation significantly improves ranking quality. We show how image features can capture fine-grained style information not available in a text-only representation. In addition, we show concrete examples of how image information can successfully disentangle pairs of highly different items that are ranked similarly by a text-only model.

연구 동기 및 목표

• 기본 텍스트 기반 검색 순위의 한계를 해결하기 위해, 기술적 키워드를 과도하게 삽입하는 텍스트 기반의 기술이 항목의 관련성을 잘못 표현하는 경우가 많다는 점을 다루기 위해.
• 깊이 학습된 합성곱 신경망에서 유도된 고수준의 시각적 의미 특징이 텍스트 특징에서 포착되지 않는 보완 정보를 제공할 수 있는지 조사하기 위해.
• 기존의 러닝-투-랭크 파이프라인에 재훈련 없이도 시각적 특징을 통합할 수 있는 확장 가능한 전이 학습 기반 방법을 개발하기 위해.
• 시각적 특징이 텍스트 전용 모델이 인지하지 못하는 세부적인 스타일과 콘텐츠의 차이를 포착하여 순위 품질을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• ImageNet으로 훈련된 19층의 VGG 스타일의 합성곱 신경망을 고수준의 시각적 의미를 추출하기 위한 고정된 특징 추출기로 활용한다.
• VGG 네트워크의 최종 완전 연결층에서 이미지 임베딩을 추출하고, 분류 헤드를 제거하여 일반적인 시각적 표현을 유지한다.
• 리스트 제목과 태그에 백오프-오브-워즈 모델을 사용하여 텍스트 특징을 표현하고, 별도의 텍스트 임베딩 공간을 형성한다.
• 각 리스트에 대해 시각적 특징과 텍스트 특징을 연결하여 단일 다중모달 특징 벡터를 구성한다.
• 쿼리 기반 순위 매기기 작업에서 NDCG 최적화를 위해 다중모달 특징을 사용하여 러닝-투-랭크 모델을 훈련한다.
• 과적합을 방지하기 위해 전이 학습을 적용하여 제한된 쿼리 기반 데이터에서 사전 훈련된 네트워크의 일반화 능력을 활용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 깊이 있는 시각적 의미 특징이 대규모 전자상거래 러닝-투-랭크 시스템에서 순위 성능을 향상시킬 수 있는가?
• RQ2 시각적 특징이 텍스트 기술에서 표현되지 않는 세부적인 스타일이나 콘텐츠의 차이를 어느 정도 포착하는가?
• RQ3 유사하게 순위가 매겨진 텍스트 전용 모델이 있지만, 시각적으로 다를 수 있는 리스트를 얼마나 효과적으로 해소할 수 있는가?
• RQ4 다양한 쿼리에 걸쳐 표준 순위 매기기 지표인 NDCG에 다중모달 표현이 미치는 정량적 영향은 어떠한가?

주요 결과

• 다중모달 모델은 전체 데이터셋에서 텍스트 전용 기반 모델 대비 통계적으로 유의미한 1.7% 평균 NDCG 향상을 달성했다.
• 순수하게 이미지 기반의 모델은 텍스트 전용 기반 모델보다 2.2% 성능이 열 劣하여, 시각적 특징만으로는 충분하지 않지만 여전히 유용한 정보를 제공한다는 것을 시사한다.
• 'wolf' 쿼리에 대해 다중모달 모델은 NDCG를 3.07% 향상시켰고, 텍스트 전용 모델이 순위를 매긴 뱀피자 티셔츠보다 관련 있는 월프 테마의 티셔츠를 394개 순위 높게 재순위 매겼다.
• 'leather bag' 쿼리에 대해 다중모달 모델은 NDCG를 2.56% 향상시켰고, 정확한 리스트를 텍스트 전용 모델보다 660개 순위 높게 재순위 매겼다.
• 'wedding band' 쿼리에 대해 다중모달 모델은 NDCG를 1.55% 향상시켰고, 정확한 리스트를 텍스트 전용 모델보다 427개 순위 높게 재순위 매겼다.
• 다양한 쿼리 밴드의 상위 순위 목록에서 시각적 일관성이 향상되어, 이미지 특징이 텍스트에 없는 스타일과 콘텐츠를 포착함으로써 관련성을 향상시킨다는 점이 확인되었다.