[논문 리뷰] Image Resizing by Reconstruction from Deep Features

Moab Arar, Dov Danon외 2명|arXiv (Cornell University)|2019. 04. 17.

Visual Attention and Saliency Detection참고 문헌 31인용 수 5

한 줄 요약

이 논문은 사전 훈련된 CNN의 깊이 있는 특징을 사용하여 픽셀 공간이 아닌 특징 공간에서 리사이징을 수행하는 새로운 이미지 리타겟팅 방법인 딥 네트워크 리사이징(DNR)을 제안한다. 고수준의 의미적 특징에서의 이미지 복원 최적화를 통해 DNR은 시각적 잡음을 줄이고 중요한 객체를 더 잘 유지하며, 벤치마크 데이터셋에서 전통적 방법에 비해 의미 보존과 시각적 품질 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Traditional image resizing methods usually work in pixel space and use various saliency measures. The challenge is to adjust the image shape while trying to preserve important content. In this paper we perform image resizing in feature space where the deep layers of a neural network contain rich important semantic information. We directly adjust the image feature maps, extracted from a pre-trained classification network, and reconstruct the resized image using a neural-network based optimization. This novel approach leverages the hierarchical encoding of the network, and in particular, the high-level discriminative power of its deeper layers, that recognizes semantic objects and regions and allows maintaining their aspect ratio. Our use of reconstruction from deep features diminishes the artifacts introduced by image-space resizing operators. We evaluate our method on benchmarks, compare to alternative approaches, and demonstrate its strength on challenging images.

연구 동기 및 목표

• 저수준의 주목도 측정 기반으로 인해 시각적 잡음이 발생하는 전통적 이미지 리사이징 방법의 한계를 해결하기 위해.
• 내용 인식 기반 리사이징을 더 정확하게 하기 위해 사전 훈련된 신경망의 고수준 의미 정보를 활용하기 위해.
• 직접 픽셀 조작 대신 최적화된 깊이 있는 특징에서의 복원을 통해 시각적 잡음을 줄이기 위해.
• 사전 훈련된 VGG-19의 계층적 특징 표현을 활용하여 이미지 리타겟팅 중 의미 보존을 향상시키기 위해.

제안 방법

• 이 방법은 사전 훈련된 VGG-19 네트워크의 깊이 있는 합성곱 레이어(예: block5_conv1)의 특징 맵에 직접 시머 카빙 리사이징 연산을 적용한다.
• 재구성 손실을 최소화하면서 의미적 구조를 유지하는 방식으로 백프로파게이션 기반 최적화를 통해 최종 리사이징된 이미지를 복원한다.
• 다양한 가시성 있는 그리드 샘플러 레이어를 사용하여 픽셀 수준의 매핑을 최적화함으로써 잡음 감소를 위한 보완 단계를 수행한다.
• 이미지 영역의 중요도는 깊이 있는 특징의 활성화 크기를 통해 유추되며, 이는 의미적 중요도 맵으로 기능한다.
• 특징 활성화 수준에 따라 적응형 임계값을 사용하여 시머 카빙과 워핑 연산을 조합하여 전환한다.
• 최적화는 엔드 투 엔드 방식으로 수행되어 네트워크가 깊이 있는 특징에서 자연스러운 이미지 복원을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 깊이 있는 특징은 기존의 저수준 주목도 측정보다 더 정확한 의미적 중요도 맵을 제공할 수 있는가?
• RQ2 픽셀 공간이 아닌 특징 공간에서의 이미지 리사이징이 의미적 콘텐츠 보존에 더 나은 성능을 보이는가?
• RQ3 깊이 있는 특징에서 최적화 기반 복원은 기존 표준 리사이징 연산 대비 시각적 잡음을 줄이는 데 효과적인가?
• RQ4 의미 지침과 복원의 통합은 기존 방법에 비해 이미지 리타겟팅 품질을 어떻게 향상시키는가?

주요 결과

• DNR는 RetargetMe 벤치마크에서 평균 의미 점수 70%를 기록하여 수동 크롭 및 선형 스케일링을 포함한 모든 비교 방법보다 뛰어난 성능을 보였다.
• 사용자 선호도 조사에서, DNR은 889张 이미지 중 42장(4.7%)에서 최고 성능을 보인 대안보다 선호되었으며, 각 이미지에서 최고 결과와 비교했을 때 956표 중 37표(3.9%)에서 선호되었다.
• 시각적 잡음이 크게 감소했음을 확인할 수 있었으며, 특히 도로 위 자전거 이미지와 같이 복잡한 장면에서의 재구성 품질 향상과 부드러운 전환을 통해 이를 입증했다.
• DNR는 RetargetMe 데이터셋에서 평균 의미 점수 70%를 기록하여 뛰어난 의미 보존 능력을 보였으며, 깊이 있는 특징 공간에서 중요한 특징의 강력한 유지 능력을 시사했다.
• 다만 이 방법은 계산 비용이 높아 640×480 이미지당 최대 2분이 소요되어 실시간 적용에 제한이 있다.
• VGG-19 네트워크가 중요한 의미 영역(예: 초상화에서 손)을 탐지하지 못할 경우 왜곡이 발생하는 한계가 관찰되었다.