[논문 리뷰] Weakly- and Self-Supervised Learning for Content-Aware Deep Image Retargeting

Donghyeon Cho, Jinsun Park외 3명|arXiv (Cornell University)|2017. 08. 09.

Visual Attention and Saliency Detection참고 문헌 43인용 수 10

한 줄 요약

이 논문은 이미지 수준의 애너테이션을 사용하여 콘텐츠 인식 이미지 리타겟팅을 위한 약한 지도 및 자기 지도 딥 러닝 방법을 제안한다. 이는 1차원 중복 컨볼루션과 누적 정규화를 통해 생성된 시프트 맵을 활용하여 주목할 만한 콘텐츠를 유지하면서 왜곡을 최소화하며, 픽셀 수준의 지도 학습이 필요 없이 엔드 투 엔드 학습을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a weakly- and self-supervised deep convolutional neural network (WSSDCNN) for content-aware image retargeting. Our network takes a source image and a target aspect ratio, and then directly outputs a retargeted image. Retargeting is performed through a shift map, which is a pixel-wise mapping from the source to the target grid. Our method implicitly learns an attention map, which leads to a content-aware shift map for image retargeting. As a result, discriminative parts in an image are preserved, while background regions are adjusted seamlessly. In the training phase, pairs of an image and its image-level annotation are used to compute content and structure losses. We demonstrate the effectiveness of our proposed method for a retargeting application with insightful analyses.

연구 동기 및 목표

• 주어진 이미지의 중요한 콘텐츠를 유지하면서 액자 비율을 조정할 수 있는 콘텐츠 인식 이미지 리타겟팅 방법을 개발한다.
• 픽셀 수준의 애너테이션에 대한 의존도를 줄이기 위해 이미지 수준의 애너테이션만을 사용하여 지도 학습을 수행한다.
• 입력 이미지와 목표 액자 비율에서 단일 전방 계산을 통해 직접 리타겟팅된 이미지를 생성하기 위한 딥 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 구조 손실과 특수한 네트워크 레이어를 통해 왜곡, 흔들림 등의 시각적 아티팩트를 최소화한다.
• 특히 복잡한 콘텐츠 또는 주된 객체가 없는 이미지에 대해서도 일반화 능력과 강인성을 향상시킨다.

제안 방법

• 이 방법은 이미지 수준의 애너테이션에서 암묵적인 의미적 주의 맵을 학습하기 위해 딥 인코더-디코더 네트워크를 사용한다.
• 1차원 중복 컨볼루션과 누적 정규화를 이용해 각 소스 픽셀을 타겟 격자에 매핑하는 시프트 레이어를 통해 콘텐츠 인식 시프트 맵을 생성한다.
• 리타겟팅된 이미지의 이미지 수준 애너테이션을 사용하여 의미 콘텐츠를 유지하기 위해 콘텐츠 손실을 계산한다.
• 입력 이미지에 구조 손실을 적용하여 왜곡, 흔들림 등의 시각적 아티팩트를 억제한다.
• 이미지 수준의 레이블에서 온 약한 지도 학습과 구조 손실에 의한 자기 지도 학습을 통해 네트워크를 엔드 투 엔드로 학습시킨다.
• 입력 이미지와 목표 액자 비율에서 단일 전방 계산을 통해 리타겟팅된 이미지를 직접 생성한다.

실험 결과

연구 질문

• RQ1 딥 신경망이 픽셀 수준의 레이블 대신 이미지 수준의 애너테이션만을 사용하여 콘텐츠 인식 이미지 리타겟팅을 학습할 수 있는가?
• RQ2 암묵적 주의 학습에 기반한 시프트 맵은 리타겟팅 중 주목할 만한 콘텐츠를 얼마나 효과적으로 유지하는가?
• RQ3 구조 손실과 1차원 중복 컨볼루션은 흔들림, 왜곡 등의 시각적 아티팩트를 줄이는 데 얼마나 효과적인가?
• RQ4 시각적 품질과 의미 유지 측면에서 전통적인 리타겟팅 기법(세임 카빙, 크롭 등)과 비교할 때 이 방법은 어떠한가?
• RQ5 이 방법은 원본 이미지에 비해 리타겟팅된 이미지에서 분류 정확도를 어느 정도 유지하는가?

주요 결과

• 사용자 연구에서 제안된 방법이 가장 높은 사용자 선호도를 보이며, 비교한 7개 방법 중 가장 많은 표를 확보했다.
• 모든 스케일 비율(0.3에서 0.7)에서 기준 방법(중앙 크롭, 가장자리 크롭, 세임 카빙)보다 리타겟팅된 이미지의 mAP 비율이 유의미하게 높았다.
• 이미지 크기가 감소함에 따라 mAP 비율의 감소 속도가 느려져 주요 콘텐츠의 유지 능력이 뛰어나다는 것을 보여주었다.
• 구조 손실과 1차원 중복 컨볼루션 레이어를 통해 시각적 아티팩트(흔들림, 왜곡 등)를 효과적으로 감소시켰다.
• 주된 객체가 없는 이미지에 대해서도 일반화 능력이 뛰어나 무늬 영역에서의 반응을 통해 합리적인 성능을 유지했다.
• 픽셀 수준의 레이블이 필요한 대규모 데이터셋을 사용하지 않고도 이미지 수준의 애너테이션만으로 엔드 투 엔드 학습이 효과적으로 이루어졌다는 점이 입증되었다.