[논문 리뷰] Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning

Andrew Shin, Masataka Yamaguchi외 2명|arXiv (Cornell University)|2016. 03. 30.

Multimodal Machine Learning Applications참고 문헌 24인용 수 6

한 줄 요약

이 논문은 선택적 탐색을 통해 검출된 하위 영역에서 유도된 CNN 특징의 공간 피라미드 VLAD 인코딩을 제안하여, 더 나은 이미지 캡션 생성을 위한 압축되고 국소적으로 강건한 이미지 표현을 만든다. 다중 공간 수준에서 VLAD 인코딩을 적용함으로써 기존 CNN 특징의 3% 수준의 차원으로 감소시키면서도 국소화 정확도를 크게 향상시켜, 종종 인간 레이블러가 제공한 캡션보다 보조 객체를 더 잘 묘사하는 결과를 얻는다.

ABSTRACT

The workflow of extracting features from images using convolutional neural networks (CNN) and generating captions with recurrent neural networks (RNN) has become a de-facto standard for image captioning task. However, since CNN features are originally designed for classification task, it is mostly concerned with the main conspicuous element of the image, and often fails to correctly convey information on local, secondary elements. We propose to incorporate coding with vector of locally aggregated descriptors (VLAD) on spatial pyramid for CNN features of sub-regions in order to generate image representations that better reflect the local information of the images. Our results show that our method of compact VLAD coding can match CNN features with as little as 3% of dimensionality and, when combined with spatial pyramid, it results in image captions that more accurately take local elements into account.

연구 동기 및 목표

• 정확한 캡션 생성에 필수적인 국소적이고 보조적인 이미지 요소를 포착하는 데에 표준 CNN 특징의 한계를 해결한다.
• 하위 영역의 표현을 압축된 특징 인코딩을 통해 향상시켜 이미지 캡션 생성을 개선한다.
• 영역 제안에서 유도된 CNN 특징에 공간 피라미드 VLAD를 적용하여 압축된 표현에서도 공간적 맥락을 유지한다.
• 특징 차원을 극도로 감소시키면서도 성능을 유지하거나 향상시켜 높은 성능을 달성한다.

제안 방법

• 선택적 탐색에 의해 제안된 여러 하위 영역에서 CNN 특징을 추출하여 국소적이고 보조적인 객체에 집중한다.
• 지역적으로 집계된 기술자 벡터(VLAD) 인코딩을 적용하여 CNN 특징을 코드워드로 군집화하여 압축된 표현을 만든다.
• 특징 맵을 계층적인 공간 빈으로 나누어 공간적 구조를 유지하는 방식으로 공간 피라미드 VLAD를 구현한다.
• VLAD 인코딩 이후 주성분 분석(PCA)을 적용하여 차원을 감소시켜 원래 CNN 특징 크기의 최소 3%로 줄인다.
• VLAD로 인코딩된 특징을 LSTM 기반 캡션 생성과 조합하여 세밀하고 국소 인식 능력이 뛰어난 캡션을 생성한다.
• 다양성 분석을 통해 클러스터 수와 공간 피라미드 수준 수와 같은 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 하위 영역에서 유도된 CNN 특징의 VLAD 인코딩이 전체 이미지 CNN 특징보다 국소 정보를 더 잘 유지하는 압축된 이미지 표현을 생성할 수 있는가?
• RQ2 표준 VLAD나 원시 CNN 특징에 비해 공간 피라미드 VLAD는 이미지 캡션 생성에서 국소화 정확도를 어떻게 향상시키는가?
• RQ3 CNN 특징에 VLAD를 적용할 때 차원 감소와 캡션 성능 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 방법은 인간 레이블러가 제공한 기준 캡션보다 국소적이고 보조적인 객체를 더 정확하게 묘사하는가?
• RQ5 표준 CNN 특징와 VLAD로 인코딩된 하위 영역 특징을 조합할 경우 전체 캡션 생성 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• VLAD 인코딩을 통해 CNN 특징의 차원을 원래 크기의 최소 3%로 감소시키면서도 유사한 성능을 유지하였다.
• 공간 피라미드 VLAD는 국소적이고 보조적인 객체를 더 잘 묘사할 수 있는 모델의 능력을 향상시켜 캡션 품질을 크게 향상시켰다.
• 여러 사례에서 제안된 방법은 인간 레이블러가 제공한 기준 캡션보다 국소적 요소에 대해 더 많은 세부 정보를 포함한 캡션을 생성하였다.
• 풍부한 국소 콘텐츠를 포함한 이미지에서 보조 객체를 포착하는 데서 표준 CNN 특징보다 모델이 뛰어난 성능을 보였다.
• VLAD로 인코딩된 특징을 표준 CNN 특징와 조합할 경우 차원이 증가하고 수렴 문제로 인해 평가 점수가 약간 낮아졌다.
• VLAD로 인코딩된 특징에 PCA를 적용함으로써 성능 향상을 얻었으며, 이는 두 특징 유형 모두에 대해 차원 감소를 통한 추가 최적화 가능성을 시사한다.