[논문 리뷰] Dynamically Visual Disambiguation of Keyword-based Image Search

Yazhou Yao, Zeren Sun외 7명|arXiv (Cornell University)|2019. 05. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 키워드 기반 이미지 검색에서 시각적 다의어 문제를 동적으로 적응형으로 해결하기 위한 프레임워크를 제안한다. 검색 결과에서 자동으로 관련 텍스트 쿼리를 발견하고 선택한 후, 시각적 특징을 분류하고 노이즈 제거를 위해 선명도 유도 기반 딥 다중인스턴스 학습 네트워크를 사용한다. 이 방법은 CMU-Poly-30 및 MIT-ISD 데이터셋에서 최신 기술 수준의 성능을 달성하며, 웹 이미지 컬렉션의 사전 처리 단계로 사용할 경우 후속 세분화된 인식 정확도를 크게 향상시킨다.

ABSTRACT

Due to the high cost of manual annotation, learning directly from the web has attracted broad attention. One issue that limits their performance is the problem of visual polysemy. To address this issue, we present an adaptive multi-model framework that resolves polysemy by visual disambiguation. Compared to existing methods, the primary advantage of our approach lies in that our approach can adapt to the dynamic changes in the search results. Our proposed framework consists of two major steps: we first discover and dynamically select the text queries according to the image search results, then we employ the proposed saliency-guided deep multi-instance learning network to remove outliers and learn classification models for visual disambiguation. Extensive experiments demonstrate the superiority of our proposed approach.

연구 동기 및 목표

• 웹 이미지 검색에서 단일 키워드가 여러 시각적으로 구별되는 개념을 가리킬 수 있는 시각적 다의어 문제를 해결하기 위해.
• 기존 정적 또는 클러스터링 기반 접근 방식과 달리, 시간이 지남에 따라 변화하는 검색 결과에 적응할 수 있는 방법을 개발하기 위해.
• 인간 레이블 자원에 의존하지 않고 검색 결과에서 관련 텍스트 쿼리를 자동으로 발견하기 위해.
• 노이즈가 많은 이미지를 걸러내고 의미 특화 시각적 카테고리로 선택함으로써 웹으로부터의 학습 품질을 향상시키기 위해.
• 웹 기반 이미지 학습의 효율성과 정확도를 향상시키기 위한 사전 처리 단계를 제공하기 위해.

제안 방법

• 검색 결과에서 n-gram 의존성과 명사 수식어를 활용해 이미지 검색 결과로부터 후보 텍스트 쿼리를 동적으로 발견함으로써 변화하는 검색 결과에 적응할 수 있도록 한다.
• 각 이미지 인스턴스의 특징을 구분할 수 있도록 객체 국소화를 수행하고, 선명도 유도 기반 딥 다중인스턴스 학습(MIL) 네트워크를 활용한다.
• 인스턴스 수준의 특징을 이미지 수준 표현으로 통합하기 위해 최댓값, 평균, 로그 풀링 연산을 MIL 네트워크에 적용한다.
• 두 개의 스트림 아키텍처를 사용한다: 하나는 객체 국소화(SGN)를 위한 것이고, 다른 하나는 분류(DMIL)를 위한 것이다. SGN이 특징 학습을 이끈다.
• 학습된 모델을 사용해 이미지를 서로 다른 시각적 의미로 분류함으로써 '코치' 또는 '애플'과 같은 다의어 키워드의 의미를 효과적으로 해소한다.
• 웹 기반 이미지 학습 이전의 사전 단계로 프레임워크를 통합하여, 후속 작업을 위한 데이터 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 키워드 기반 이미지 검색 결과에서 시간이 지남에 따라 변화하는 시각적 의미에 동적으로 적응할 수 있는 프레임워크는 가능한가?
• RQ2 검색 결과에서 자동으로 텍스트 쿼리를 발견하는 것이 시각적 다의어 해소에 얼마나 효과적인가?
• RQ3 선명도 유도 기반 딥 다중인스턴스 학습 네트워크는 다의어 웹 이미지에서 노이즈를 얼마나 줄이고 분류 성능을 향상시키는가?
• RQ4 이미지 소스(예: 구글, 빙, 픽서브)의 선택이 다의어 해소 성능에 어떤 영향을 미치는가?
• RQ5 더 깊은 CNN 아키텍처나 더 많은 학습 샘플을 사용할 경우, 시각적 다의어 해소의 강건성과 정확도는 향상되는가?

주요 결과

• 제안된 방법은 CMU-Poly-30 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 기존 방법 대비 ACA(Average Class Accuracy) 향상을 보였다.
• 이 프레임워크를 사전 처리 단계로 사용함으로써 CUB-200-2011 데이터셋의 세분화된 인식 정확도가 원본 웹 데이터의 71.8%에서 깔끔한 웹 이미지와 원본 학습 세트를 결합한 경우 86.3%로 향상되었다.
• 구글 및 빙 이미지 검색 엔진에서 얻은 이미지가 픽서브에서의 이미지보다 훨씬 더 높은 다의어 해소 성능을 보였다.
• MIL 네트워크에서 최댓값 풀링 연산이 평균 및 로그 풀링보다 ACA 수준에서 뛰어난 성능을 보여, 분류 특징을 효과적으로 포착하는 데 기여했다.
• VGG-16와 같은 더 깊은 CNN 아키텍처가 AlexNet과 같은 얕은 아키텍처보다 웹 이미지 내 객체 국소화 측면에서 뛰어난 성능을 보였다.
• 각 쿼리당 학습 샘플 수를 늘릴수록 성능이 일관되게 향상되었으며, 이는 데이터에 따라 메서드의 확장성이 있음을 보여주었다.