[논문 리뷰] What Looks Good with my Sofa: Multimodal Search Engine for Interior Design

Ivona Tautkutė, Aleksandra Możejko외 4명|arXiv (Cornell University)|2017. 07. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 사용자의 소파나 방의 스타일 및 미학적 유사도가 높은 가구 및 인테리어 소품을 검색하기 위해 시각적 쿼리와 텍스트 쿼리를 융합하는 다중모달 인테리어 디자인 검색 엔진을 제안한다. YOLO-9000과 딥 페처를 사용한 시각 검색 및 word2vec 유사 임베딩을 사용한 텍스트 기반 검색을 융합함으로써, 기준 방법 대비 평균 스타일 유사도를 11% 향상시킨다.

ABSTRACT

In this paper, we propose a multi-modal search engine for interior design that combines visual and textual queries. The goal of our engine is to retrieve interior objects, e.g. furniture or wall clocks, that share visual and aesthetic similarities with the query. Our search engine allows the user to take a photo of a room and retrieve with a high recall a list of items identical or visually similar to those present in the photo. Additionally, it allows to return other items that aesthetically and stylistically fit well together. To achieve this goal, our system blends the results obtained using textual and visual modalities. Thanks to this blending strategy, we increase the average style similarity score of the retrieved items by 11%. Our work is implemented as a Web-based application and it is planned to be opened to the public.

연구 동기 및 목표

• 순수하게 시각적 또는 텍스트 기반 검색의 한계를 해결하기 위해, 인테리어 디자인 분야에서 스타일적 및 맥락적 적합도를 잘 반영하지 못하는 문제를 해결한다.
• 시각적으로 유사한 항목뿐만 아니라, 쿼리 객체와 미학적 및 스타일적으로 보완되는 항목을 검색하는 시스템을 개발한다.
• 특징 공간에서 새로운 융합 전략을 사용하여 시각적 및 텍스트적 모odal을 융합함으로써 검색 품질을 향상시킨다.
• 실세계에서 사용 가능한 웹 기반 프로토타입을 구현하고 공개 배포한다.

제안 방법

• 사용자가 업로드한 실내 이미지에서 핵심 항목(예: 소파)을 국소화하기 위해 YOLO-9000을 사용하여 객체 탐지를 수행한다.
• 시각 검색은 사전 훈련된 CNN의 정규화된 활성화 값과 같은 깊이 신경망 특징을 특징 공간에서 기반으로 하여 항목을 검색한다.
• 텍스트 쿼리는 단어2벡과 유사한 방식으로 의미적 및 스타일적 공존 패턴을 포착하는 임베딩을 사용하여 스타일적으로 호환되는 항목을 찾는다.
• 특징 유사도 융합 방법은 시각적 및 텍스트적 특징 공간에서의 거리를 계산하여 결과를 재순서 정렬하고, 이를 통합된 순위 목록으로 통합한다.
• 융합 전략은 두 모달에서 유도된 가중치가 부여된 유사도 점수를 사용하여 전체적인 스타일적 관련성을 향상시킨다.
• 시스템은 Flask 기반 웹 애플리케이션으로 구현되어 사용자가 이미지를 업로드하거나 데이터셋에서 선택할 수 있다.

실험 결과

연구 질문

• RQ1 시각적 및 텍스트적 모달을 융합함으로써 단일 모달 방법에 비해 미학적 및 스타일적으로 호환되는 인테리어 디자인 항목의 검색 성능을 향상시킬 수 있는가?
• RQ2 특징 공간 융합 전략은 검색 결과의 스타일 유사도를 향상시키는 데 얼마나 효과적인가?
• RQ3 예를 들어 '화이트', '스칸디나비안'과 같은 텍스트적 맥락을 추가하면 순수 시각 검색에 비해 검색 품질이 얼마나 향상되는가?
• RQ4 실제 실내 데이터셋 기반의 확률적 공존 메트릭은 항목 간의 스타일적 호환성을 효과적으로 측정할 수 있는가?
• RQ5 다중모달 시스템의 성능은 순수 시각 검색 및 순수 텍스트 검색 대비 스타일 유사도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 특징 유사도 융합 방법은 기준 시각 검색 대비 평균 스타일 유사도 점수를 11% 향상시켰다.
• 기준 시각 검색만으로는 평균 스타일 유사도 점수가 0.2295를 기록했고, 융합 방법은 이 기준을 초월하여 더 높은 성능을 보였다.
• 텍스트 검색만으로는 약간 낮은 점수인 0.2243을 기록하여, 이 작업에 있어서 텍스트만으로는 시각 검색보다 효과가 떨어지는 것으로 나타났다.
• 예를 들어 '소파'와 같은 객체 클래스를 텍스트 쿼리로 사용하는 것만으로도 순수 시각 검색보다 성능 향상을 보였으며, 이는 텍스트 맥락의 가치를 보여준다.
• '화이트' 또는 '장식용'과 같은 추가 기술적 설명어를 추가로 제공함으로써 성능이 더욱 향상되었으며, 더 rich한 텍스트 입력의 이점이 입증되었다.
• 웹 애플리케이션 프로토타입은 시스템의 기능을 성공적으로 시연하였으며, 사용자 테스트 후 공개 배포를 계획하고 있다.