[논문 리뷰] MosAIc: Finding Artistic Connections across Culture with Conditional Image Retrieval

Mark Hamilton, Stephanie Fu외 10명|arXiv (Cornell University)|2020. 07. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 83인용 수 4

한 줄 요약

MosAIc는 시각적 유사도 검색과 사용자가 정의한 조건(예: 문화, 매체)을 결합한 조건부 이미지 검색(CIR)을 도입하여 다양한 문화와 시대에 걸쳐 의미적이고 시각적으로 관련된 예술 작품을 탐색할 수 있도록 한다. 이 방법은 절단된 랜덤 프로젝션 트리를 사용해 조건부로 필터링된 이웃을 효율적으로 검색하며, 비모수적 스타일 전이를 가능하게 하고 데이터 분포 모델링에서 GAN의 '맹점'을 드러낸다.

ABSTRACT

We introduce MosAIc, an interactive web app that allows users to find pairs of semantically related artworks that span different cultures, media, and millennia. To create this application, we introduce Conditional Image Retrieval (CIR) which combines visual similarity search with user supplied filters or "conditions". This technique allows one to find pairs of similar images that span distinct subsets of the image corpus. We provide a generic way to adapt existing image retrieval data-structures to this new domain and provide theoretical bounds on our approach's efficiency. To quantify the performance of CIR systems, we introduce new datasets for evaluating CIR methods and show that CIR performs non-parametric style transfer. Finally, we demonstrate that our CIR data-structures can identify "blind spots" in Generative Adversarial Networks (GAN) where they fail to properly model the true data distribution.

연구 동기 및 목표

• 다양한 문화, 매체, 시대에 걸쳐 의미적이고 시각적으로 관련된 예술 작품을 상호작용적으로 탐색할 수 있도록 하는 것.
• 특정 서브셋(예: 문화 또는 매체 기반)으로 이미지 검색을 효율적으로 제한하면서 색인 구조를 다시 빌드하지 않고도 이를 달성하는 데 도전하는 것.
• 기존 KNN 데이터 구조를 임의의 논리적 조건자로 사용할 수 있도록 일반화된 방법을 개발하는 것.
• CIR 성능을 새로운 데이터셋에서 평가하고, GAN의 분포 실패를 식별하는 데서의 유용성을 입증하는 것.
• 세계 예술 수집품 간의 예술적 연결을 시각화하는 상호작용 웹 애플리케이션(MosAIc)을 구축하는 것.

제안 방법

• 사용자가 정의한 조건(예: 문화 또는 매체)에 따라 검색이 제한되는 조건부 이미지 검색(CIR)을 도입한다.
• 랜덤 프로젝션 트리와 같은 트리 기반 KNN 구조를 절단하여, 목표 조건 서브셋에 속하지 않는 노드를 제거함으로써 조건부 검색을 효율화한다. 이 과정에서 역색인을 사용한다.
• 조건부 검색에 대해 랜덤 프로젝션 트리에서 절단할 수 있는 노드 수의 이론적 하한을 증명한다.
• 코사인 거리 기반 유사도 계산을 위해 사전 훈련된 모델(예: ResNet50, MobileNetV2)의 디프 특징을 임베딩으로 사용한다.
• 역색인을 사용해 조건(예: '18세기 중국')을 관련 이미지 인덱스로 매핑함으로써 검색 중 빠른 필터링을 가능하게 한다.
• 최종적으로 도출된 조건부 K-최근접 이웃(CKNN) 데이터 구조를 활용해, 특징 공간 내 이웃 분포 분석을 통해 ProGAN이 훈련된 CelebA HQ에서의 '맹점'을 탐지한다.

실험 결과

연구 질문

• RQ1 조건부 이미지 검색은 문화적·시간적 거리가 먼 예술 작품 간에 의미 있는 예술적 연결을 드러낼 수 있는가?
• RQ2 기존 KNN 데이터 구조를 조건부 검색을 위해 효율적으로 적응시킬 수 있는가? 이는 각 조건마다 색인을 다시 빌드하지 않고도 가능할까?
• RQ3 CIR는 목표 조건 서브셋의 '스타일'을 기반으로 콘텐츠 유사 이미지를 검색함으로써 비모수적 스타일 전이를 어느 정도 성취할 수 있는가?
• RQ4 CKNN 데이터 구조는 GAN 생성 데이터의 분포적 불일치, 예를 들어 모델이 현실적인 샘플을 생성하지 못하는 '맹점' 영역을 드러내는 데 효과적인가?
• RQ5 기본 전략인 쿼리-스택 필터링 또는 브루트 포스 검색과 비교했을 때, 제안된 CIR 방법은 효율성과 정확성 측면에서 어떻게 성능을 내는가?

주요 결과

• CIR는 예를 들어 기원전 1980년대 이집트의 배 모형과 18세기 중국의 뗏다리 그림처럼 매우 다른 문화와 시대에 속한 예술 작품 간에 의미적·시각적으로 유사한 작품을 성공적으로 검색한다.
• 절단된 랜덤 프로젝션 트리 접근법은 쿼리-스택 필터링 및 브루트 포스 기반 기준보다 뚜렷한 속도 향상을 보이며, 100만 장의 이미지 데이터셋에 대해 조건부 색인 구조의 공간 효율성이 6.4MB로 측정되었다.
• CIR는 목표 조건 서브셋에서 콘텐츠 유사 이미지를 검색함으로써 비모수적 스타일 전이를 수행하며, 모델 미세조정 없이도 스타일 전이가 가능함을 입증한다.
• CKNN 데이터 구조는 CelebA HQ에 훈련된 ProGAN에서 '맹점'을 효과적으로 탐지한다. 특히 둥근 모자나 둥근 테두리 모자 영역에서 현실적인 얼굴을 생성하지 못하는 영역이 드러난다.
• 특정 조건이거나 목표 서브셋이 작을 경우, CIR는 쿼리-스택 필터링이나 브루트 포스 기반 전략보다 조건부 검색 속도와 확장성 측면에서 뛰어난 성능을 보였다.
• CIR 평가를 위해 도입된 새로운 데이터셋인 FEI 얼굴 데이터베이스와 두 개의 대규모 예술 수집품은 조건부 검색 성능의 강력한 벤치마킹을 가능하게 한다.