[논문 리뷰] Automatic Concept Discovery from Parallel Text and Visual Corpora

Chen Sun, Chuang Gan외 1명|arXiv (Cornell University)|2015. 09. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 15

한 줄 요약

이 논문은 병렬 텍스트 및 이미지 코퍼스에서 시각적 분류력과 압축성을 갖춘 시각적 개념을 자동으로 식별하기 위해 시각적 분류력에 기반해 용어를 필터링하고, 시각적 및 의미적 유사도를 사용해 군집화하는 시각적 개념 발견(VCD) 프레임워크를 제안한다. 이 방법은 이중 방향 이미지-문장 검색 및 이미지 태깅에 대한 인간 평가에서 수작업으로 구성된 개념 세트인 ImageNet-1k보다 우수한 성능을 보이며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Humans connect language and vision to perceive the world. How to build a similar connection for computers? One possible way is via visual concepts, which are text terms that relate to visually discriminative entities. We propose an automatic visual concept discovery algorithm using parallel text and visual corpora; it filters text terms based on the visual discriminative power of the associated images, and groups them into concepts using visual and semantic similarities. We illustrate the applications of the discovered concepts using bidirectional image and sentence retrieval task and image tagging task, and show that the discovered concepts not only outperform several large sets of manually selected concepts significantly, but also achieves the state-of-the-art performance in the retrieval task.

연구 동기 및 목표

• 수작업으로 선택된 시각적 개념의 한계를 해결하기 위해, 이는 종종 시각 세계의 복잡성을 포착하지 못하고 도메인 적응성이 떨어지기 때문이다.
• 병렬 텍스트 및 이미지 코퍼스에서 시각적 개념을 자동으로 발견하는 프레임워크를 개발하여, 이들이 분류력이 뛰어나고 압축되어 있음을 보장하기 위해이다.
• 이중 방향 이미지-문장 검색 및 인간 평가를 통한 자유형 이미지 태깅을 통해 발견된 개념의 품질을 평가하기 위해이다.
• 자동으로 발견된 개념이 ImageNet-1k과 같은 대규모 수작업으로 구성된 개념 세트보다 더 잘 일반화되고 성능이 뛰어나다는 것을 입증하기 위해이다.

제안 방법

• 병렬 이미지-텍스트 코퍼스의 텍스트 기술문에서 단어형 및 의존 관계 이형태를 추출한다.
• 관련 이미지에 대한 교차 검증 평균 정확도(AP)를 사용해 후보 용어를 필터링하여 시각적으로 분류력이 있는 용어만 유지한다.
• 딥 뉴럴 네트워크(예: CNN 특징)를 통해 이미지 표현에서 추출한 특징을 사용해 용어 간 시각적 유사도를 계산한다.
• 어휘 임베딩(예: Word2Vec 또는 GloVe)을 사용해 언어적 관계를 포착하기 위해 용어 간 의미적 유사도를 계산한다.
• 시각적 및 의미적 유사도 점수의 가중 조합을 사용해 필터링된 용어를 시각적 개념으로 군집화한다.
• 이미지 데이터를 사용해 발견된 개념에 대한 분류기 모델을 훈련하고, 검색 및 태깅과 같은 후속 작업에 활용한다.

실험 결과

연구 질문

• RQ1 병렬 텍스트 및 이미지 코퍼스에서 자동으로 시각적 개념을 발견할 수 있을까? 이를 통해 인간의 시각적 실체 인식을 더 잘 반영할 수 있을까?
• RQ2 시각적 유사도와 의미적 유사도를 함께 사용할 경우, 발견된 시각적 개념의 품질과 압축성은 어떻게 향상되는가?
• RQ3 자동으로 발견된 시각적 개념은 검색 및 태깅 작업에서 ImageNet-1k과 같은 수작업으로 구성된 개념 세트보다 뛰어나게 성능을 내는가?
• RQ4 시각적 유사도 가중치와 개념 수의 영향은 검색 성능에 어떤가?
• RQ5 발견된 개념은 COCO와 같은 새로운 데이터셋으로 일반화되는 데 얼마나 잘 적응하는가?

주요 결과

• 이중 방향 이미지-문장 검색 작업에서 발견된 개념은 Recall@5가 64.1%를 기록하여, 여러 대규모 수작업 선택 개념 세트를 초월했다.
• 이미지 태깅에 대한 인간 평가에서, 발견된 개념이 ImageNet-1k보다 64.1%의 이미지에서 선호되었으며, 22.9%는 열 劣, 12.9%는 동일한 평가를 받았다.
• 개념 발견 프레임워크의 성능은 시각적 유사도 가중치 λ와 총 개념 수에 민감하며, 중간 수준의 개념 수에서 최적의 성능을 달성했다.
• 프레임워크는 인간과 유사한 명명 패턴을 성공적으로 식별했으며, 과도하게 세부적인 것(예: 고유 품종의 개)을 피하고 일반적인 시각적 실체의 커버리지가 향상되었다.
• Flickr 8k에서 훈련된 개념은 COCO로 잘 일반화되어, 데이터셋 간의 강건성과 전이 가능성(transferability)을 입증했다.
• 이 방법은 공동 임베딩 학습에 의존하지 않음에도 불구하고, 임베딩 기반 접근법보다 이중 방향 검색에서 최신 기술 수준의 성능을 달성했다.