[논문 리뷰] Labeling Topics with Images using Neural Networks

Νικόλαος Αλέτρας, Arpit Mittal|arXiv (Cornell University)|2016. 08. 01.

Image Retrieval and Classification Techniques참고 문헌 22인용 수 3

한 줄 요약

이 논문은 사전에 선별된 후보 이미지에 대해 반복적인 재순서 정렬에 의존하는 기존 방법들을 능가하는, 주어진 주제에 대해 어떤 새로운 이미지의 관련성을 직접 예측하는 딥 네ural 네트워크(DNN) 모델을 제안한다. 주제어, 이미지 캡션, 시각적 특징(VGG-16를 통해)을 함께 인코딩하여 1600차원 입력으로 만들고, 이로써 다중 모odal 간의 비선형적 연관성을 학습함으로써, O(n) 실행 시간 복잡도와 기준 데이터셋에서 Top-1 평균 점수 2.12를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Topics generated by topic models are usually represented by lists of $t$ terms or alternatively using short phrases and images. The current state-of-the-art work on labeling topics using images selects images by re-ranking a small set of candidates for a given topic. In this paper, we present a more generic method that can estimate the degree of association between any arbitrary pair of an unseen topic and image using a deep neural network. Our method has better runtime performance $O(n)$ compared to $O(n^2)$ for the current state-of-the-art method, and is also significantly more accurate.

연구 동기 및 목표

• 사전에 선별된 후보 이미지에 대해 고비용인 O(n²) 재순서 정렬에 의존하는 기존의 이미지 기반 주제 레이블링 방법의 한계를 해결하기 위해.
• 사전에 필터링하거나 반복 계산을 요구하지 않는, 일반적이고 확장 가능한 방법을 개발하여, 임의의 주제-이미지 쌍의 관련성을 평가할 수 있도록 하기 위해.
• 딥 러닝을 활용해 텍스트 및 시각적 특징을 함께 모델링하여 주제 표현의 정확성과 효율성을 향상시키기 위해.
• 이미지를 언어에 종속되지 않은 직관적인 레이블로 사용하여 실시간으로 대규모 주제 레이블링을 가능하게 하기 위해.

제안 방법

• 모델은 주제어 임베딩(상위 10개 단어의 평균), 이미지 캡션 임베딩, 그리고 이미지에서 추출한 1000차원 VGG-16 특징 벡터의 연결된 벡터를 입력으로 받는다.
• 입력은 ReLU 활성화 함수와 드롭아웃 정규화를 적용한 네 개의 완전 연결 히든 레이어(256, 128, 64, 32 유닛)를 거친다.
• 최종 출력은 주제에 대한 이미지의 예측된 관련성을 나타내는 단일 실수 값 점수이다.
• 모델은 30 에포크 동안 5겹 교차 검증을 통해 평균 절대 오차 손실과 RMSProp 최적화를 사용해 훈련된다.
• 모델은 각 주제당 20개의 후보 이미지가 포함된 300개 주제의 기준 데이터셋에서 평가되며, 인간이 평가한 관련성 점수(0~3)가 사용된다.

실험 결과

연구 질문

• RQ1 사전에 필터링된 후보 집합이 필요 없이, 딥 네럴 네트워크가 새로운 주제에 대해 이미지의 관련성을 효과적으로 예측할 수 있는가?
• RQ2 텍스트 및 시각적 특징을 함께 모델링할 경우, 단일 텍스트나 이미지 특징을 사용하는 방법보다 주제 레이블링 정확도가 어떻게 향상되는가?
• RQ3 그래프 기반 재순서 정렬에 기반한 최신 기술 수준의 접근법보다 제안된 방법이 성능과 효율성 면에서 뛰어나게 되는가?
• RQ4 이미지 기반 주제-이미지 관련성 예측 맥락에서, 시각적 특징만으로도 텍스트 캡션보다 더 뛰어난 성능을 내는가?

주요 결과

• 제안된 DNN 모델(Topic+Caption+VGG)은 Top-1 평균 점수 2.12를 기록하여, 다음으로 우수한 성능을 보인 국소 PPR 방법(2.00)보다 유의미하게 높았으며, p < 0.01이다.
• 모델은 nDCG-5 점수 0.81을 기록하여 모든 방법 중에서 가장 높은 순위 성능를 보이며, 관련 있는 이미지 후보의 순위 매기기 능력이 뛰어나다는 것을 시사한다.
• 오직 시각적 특징만을 사용한 경우(DNN (Topic+VGG)) Top-1 점수는 2.04를 기록했으며, 텍스트 전용 모델(1.94)보다 뛰어나, 이미지가 캡션보다 더 덜 노이즈가 많은 신호를 제공한다는 것을 시사한다.
• 모델의 O(n) 추론 복잡도는 Flickr, Getty, ImageNet과 같은 대규모 이미지 레포지토리에서의 효율적 평가를 가능하게 하며, O(n²) 그래프 기반 방법들과는 대비된다.
• DNN (Topic+Caption+VGG) 모델은 모든 지표에서 WSABIE, LR, SVM, Global 및 Local PPR 기반 모델에 비해 통계적으로 유의미한 성능 향상을 달성했다.