[논문 리뷰] Visual Language Modeling on CNN Image Representations

Hiroharu Kato, Tatsuya Harada|arXiv (Cornell University)|2015. 11. 09.

Multimodal Machine Learning Applications참고 문헌 62인용 수 6

한 줄 요약

이 논문은 사전 훈련된 CNN의 중위 수준 특징에 대해 순환 신경망 언어 모델(RNNLMs)을 훈련시어 이미지의 자연스러움을 평가하는 CNN-VLM이라는 시각-언어 모델링 방법을 제안한다. 행과 열을 따라 특징 시퀀스를 '문장'으로 간주함으로써, 예측 오차 기반으로 비자연스러움 점수를 계산하여 눈의 집중 예측에서 최고 성능을 기록하고, 정규화자로 사용될 경우 이미지 복원 품질을 향상시킨다.

ABSTRACT

Measuring the naturalness of images is important to generate realistic images or to detect unnatural regions in images. Additionally, a method to measure naturalness can be complementary to Convolutional Neural Network (CNN) based features, which are known to be insensitive to the naturalness of images. However, most probabilistic image models have insufficient capability of modeling the complex and abstract naturalness that we feel because they are built directly on raw image pixels. In this work, we assume that naturalness can be measured by the predictability on high-level features during eye movement. Based on this assumption, we propose a novel method to evaluate the naturalness by building a variant of Recurrent Neural Network Language Models on pre-trained CNN representations. Our method is applied to two tasks, demonstrating that 1) using our method as a regularizer enables us to generate more understandable images from image features than existing approaches, and 2) unnaturalness maps produced by our method achieve state-of-the-art eye fixation prediction performance on two well-studied datasets.

연구 동기 및 목표

• 생성되거나 수정된 이미지에서 CNN 특징의 이미지 자연스러움에 대한 민감도 부족 문제를 해결하기 위해.
• 저수준 픽셀 통계를 초월한 고수준의 추상적 자연스러움을 포착하는 방법을 개발하기 위해.
• 눈의 이동 중 시각적 특징의 예측 가능성은 자연스러움의 대체 지표로 활용하기 위해.
• 자연스러움 측정을 이미지 복원 및 눈의 집중 예측 작업에 적용하기 위해.
• CNN 특징에 대한 자연스러움의 비지도 모델링이 비전 작업의 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 네트워크(예: VGGNet)의 여러 층에서 중위 수준 CNN 특징을 추출한다.
• 특징 맵을 정규화하고 직교화하여 안정성과 해석 가능성 향상.
• 각 특징 맵의 행과 열을 따라 독립적으로 단방향 RNNLM을 적용하여 순차적 예측 가능성 모델링.
• 각 공간 위치에서 시퀀스의 음의 로그우도를 비자연스러움 측정치로 계산.
• 수평 및 수직 RNNLM에서 유도된 비자연스러움 점수를 하나의 비자연스러움 맵으로 통합.
• 비자연스러움 맵을 이미지 복원의 정규화자 또는 눈의 집중 예측의 시각적 주목도 맵으로 활용.

실험 결과

연구 질문

• RQ1 눈의 이동 중 고수준 시각적 특징의 예측 가능성은 이미지 자연스러움의 대체 지표로 기능할 수 있는가?
• RQ2 CNN 특징에 기반한 RNN 기반 언어 모델링은 픽셀 수준의 모델보다 비자연스러운 이미지 영역을 더 효과적으로 탐지할 수 있는가?
• RQ3 비자연스러움 점수를 특징에서의 이미지 복원에 통합하면 기존 정규화자 대비 성능 향상이 이루어지는가?
• RQ4 CNN-VLM에서 유도된 비자연스러움 맵은 최고 수준의 정확도로 인간의 눈의 집중 패턴을 예측할 수 있는가?
• RQ5 CNN-VLM의 성능는 CNN 층의 선택에 따라 달라지며, 자연스러움을 가장 잘 포착하는 층은 어느 층인가?

주요 결과

• MIT1003 데이터셋에서 CNN-VLM은 기존 방법들을 능가하는 최고 성능의 셔플링 AUC 점수 0.7096을 기록했으며, CAT2000에서는 0.6221을 기록했다.
• MIT300 데이터셋에서는 셔플링 AUC 0.7096으로 2위를 기록했고, CAT2000에서는 0.6221로 1위를 기록했다.
• 정규화자로 사용되었을 때 이미지 복원 품질이 크게 향상되어, 기준 방법 대비 더 해석 가능하고 현실적인 이미지를 생성했다.
• 더 높은 수준의 CNN 특징(예: conv5_4, conv5_1)이 낮은 수준의 특징보다 눈의 집중 예측에 더 우수한 비자연스러움 맵을 제공했다.
• 비지도 학습 성격 덕분에 레이블이 부여된 눈의 집중 데이터 없이도 도메인 이동에 강건함을 보였다.
• 풍부한 의미적 내용을 지닌 카테고리(예: 사회적, 만화, 정서적)에서 성능이 가장 높았으며, 이는 고수준 의미론에 민감함을 시사한다.