[논문 리뷰] Contextual Visual Similarity

Xiaofang Wang, Kris Kitani외 1명|arXiv (Cornell University)|2016. 12. 08.

Image Retrieval and Classification Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 사용자가 정의한 유사성 관계를 삼중체(쿼리, 양성, 음성)의 이미지 세트를 사용해 학습하는 특징 가중치를 도입함으로써 맥락적 시각적 유사성이라는 방법을 제안한다. 쿼리와 양성 이미지 간의 거리를 최소화하고 음성 이미지와의 거리를 최대화하도록 이미지 특징을 재가중시킴으로써, 특성 기반의 이미지 검색, 시각적 유사성 해결, 비지도 특성 발견에 있어 기존 기준 대비 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Measuring visual similarity is critical for image understanding. But what makes two images similar? Most existing work on visual similarity assumes that images are similar because they contain the same object instance or category. However, the reason why images are similar is much more complex. For example, from the perspective of category, a black dog image is similar to a white dog image. However, in terms of color, a black dog image is more similar to a black horse image than the white dog image. This example serves to illustrate that visual similarity is ambiguous but can be made precise when given an explicit contextual perspective. Based on this observation, we propose the concept of contextual visual similarity. To be concrete, we examine the concept of contextual visual similarity in the application domain of image search. Instead of providing only a single image for image similarity search (\eg, Google image search), we require three images. Given a query image, a second positive image and a third negative image, dissimilar to the first two images, we define a contextualized similarity search criteria. In particular, we learn feature weights over all the feature dimensions of each image such that the distance between the query image and the positive image is small and their distances to the negative image are large after reweighting their features. The learned feature weights encode the contextualized visual similarity specified by the user and can be used for attribute specific image search. We also show the usefulness of our contextualized similarity weighting scheme for different tasks, such as answering visual analogy questions and unsupervised attribute discovery.

연구 동기 및 목표

• 시각적 유사성의 모호성을 제거하기 위해 제3의 이미지를 고려하는 맥락 인식 프레임워크를 도입함으로써 유사성을 상대적 기준으로 정의한다.
• 사용자가 두 이미지가 왜 유사한지 명시적으로 정의할 수 있도록 양성 및 음성 예제를 제공함으로써, 유사성을 명시적이고 사용자 중심으로 만든다.
• 사전 정의된 특성나 분류기 없이도 맥락적 시각적 유사성을 학습할 수 있는 특징 재가중 메커니즘을 개발한다.
• 이러한 맥락적 시각적 유사성의 유용성을 다양한 비전 작업, 즉 이미지 검색, 유사성 추론, 특성 발견 등에 걸쳐 입증한다.

제안 방법

• 이 방법은 쿼리, 양성 이미지(쿼리와 유사한 이미지), 음성 이미지(둘 다와 유사하지 않은 이미지)로 구성된 삼중체를 사용한다.
• 예를 들어 VGG나 AlexNet에서 추출한 이미지 특징들은 학습된 특징 가중치 벡터를 사용해 재가중되며, 이는 가중 특징 공간에서 쿼리와 양성 이미지 간의 거리는 최소화하고, 둘 다 음성 이미지와의 거리는 최대화하도록 한다.
• 대비 손실 유사 형식을 사용한 공동 최적화 목표 함수를 통해 특징 가중치를 학습하며, 쿼리와 양성 간의 거리는 최소화하고 음성과의 거리는 최대화한다.
• 학습된 특징 가중치는 사용자가 정의한 맥락적 유사성, 예를 들어 카테고리나 색상 기반의 유사성 등을 인코딩한다.
• 학습된 가중치 기반으로 이미지의 유사도를 평가함으로써 특성 기반의 이미지 검색을 지원한다.
• 시각적 유사성 추론과 비지도 특성 발견을 위해, 여러 삼중체를 기반으로 학습된 가중치를 활용해 공통 맥락적 유사성 기반의 패턴을 식별하고, 이를 바탕으로 이미지 클러스터링을 수행한다.

실험 결과

연구 질문

• RQ1 사용자가 제공한 이미지 삼중체를 통해 맥락을 명시적으로 모델링함으로써 시각적 유사성을 정밀하게 정의할 수 있는가?
• RQ2 사전 레이블링된 특성에 의존하지 않고, 특징 재가중을 통해 사용자가 정의한 맥락적 유사성(예: 카테고리 대비 색상)을 어떻게 표현할 수 있는가?
• RQ3 기존 기준 대비 맥락적 시각적 유사성이 특성 기반 이미지 검색 성능에 얼마나 향상시킬 수 있는가?
• RQ4 학습된 유사성 프레임워크는 시각적 유사성 질문 응답 및 비지도 특성 발견에 효과적으로 기여할 수 있는가?
• RQ5 학습된 유사성 메트릭 기반의 삼중체 클러스터링을 통해 어떤 종류의 특성을 발견할 수 있는가?

주요 결과

• 제안된 방법은 기존 기준 대비 시각적 유사성 질문 응답에서 뚜렷한 성능 향상을 보이며, 동작 및 색상 유사성 모두에서 평균 재현율이 높아졌다.
• 특성 기반 이미지 검색에서, pool5 특징을 사용하고 k=5일 때 평균 평균 정확도(MAP)가 0.565를 기록하여 기준(0.320)을 뛰어넘었으며, k가 증가함에 따라 일관된 향상이 관찰되었다.
• 정규화 파라미터 λ를 변화시킬 경우, k=5일 때 λ=0.1에서 최고의 MAP 0.561을 기록하여 하이퍼파rameter 선택에 대해 뛰어난 안정성을 보였다.
• 비지도 특성 발견에서, 인간 평가자들이 116개의 클러스터 중 72개를 의미 있는 것으로 평가하였으며, 이 중 43개는 '흰색', 13개는 '검정색'으로 레이블링되었고, 나머지는 '달리기', '일어나기', '수영하기' 또는 복합 특성로 분류되었다.
• 정성적 결과에서는, 사전 레이블링 없이도 색상, 동작, 질감 등의 공통된 특성을 기반으로 이미지가 성공적으로 그룹화됨을 확인할 수 있었다.
• 이 방법은 맥락 인식 특징 재가중이 특성에 대한 제로샷 학습을 효과적으로 가능하게 하고, 명시적 특성 감독 없이도 후속 비전 작업의 성능을 향상시킬 수 있음을 보여주었다.