[논문 리뷰] Supervised Adversarial Networks for Image Saliency Detection

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|2017. 04. 24.

Visual Attention and Saliency Detection참고 문헌 22인용 수 5

한 줄 요약

이 논문은 자연 이미지의 시각적 중요도를 탐지하기 위한 새로운 완전 지도 학습 기반 GAN 아키텍처인 감독형 적대적 네트워크(SAN)를 제안한다. 이는 생성자 네트워크가 시각적 중요도 맵을 생성하고, 구분자 네트워크가 진짜 맵과 합성 맵을 구분하도록 공동으로 학습한다. 새로운 컨볼루션 비교 레이어를 도입하고 학습 과정에서 클래스 레이블을 활용함으로써, Pascal VOC 2012에서 최신 기준 성능을 달성하며 Fβ 점수는 0.681을 기록한다.

ABSTRACT

In the past few years, Generative Adversarial Network (GAN) became a prevalent research topic. By defining two convolutional neural networks (G-Network and D-Network) and introducing an adversarial procedure between them during the training process, GAN has ability to generate good quality images that look like natural images from a random vector. Besides image generation, GAN may have potential to deal with wide range of real world problems. In this paper, we follow the basic idea of GAN and propose a novel model for image saliency detection, which is called Supervised Adversarial Networks (SAN). Specifically, SAN also trains two models simultaneously: the G-Network takes natural images as inputs and generates corresponding saliency maps (synthetic saliency maps), and the D-Network is trained to determine whether one sample is a synthetic saliency map or ground-truth saliency map. However, different from GAN, the proposed method uses fully supervised learning to learn both G-Network and D-Network by applying class labels of the training set. Moreover, a novel kind of layer call conv-comparison layer is introduced into the D-Network to further improve the saliency performance by forcing the high-level feature of synthetic saliency maps and ground-truthes as similar as possible. Experimental results on Pascal VOC 2012 database show that the SAN model can generate high quality saliency maps for many complicate natural images.

연구 동기 및 목표

• 잡음이 많거나 객체 경계가 모호한 복잡한 이미지를 다룰 때 전통적인 바텀업 시각적 중요도 방법의 한계를 해결하기 위해.
• 생성적 적대적 네트워크(GAN) 프레임워크를 완전 지도 학습과 구조적 수정을 통해 시각적 중요도 탐지에 적합하게 변형하기 위해.
• 새로운 레이어 설계를 통해 진짜 맵과 생성된 맵 간의 특징 수준 유사성을 강제로 유지함으로써 시각적 중요도 맵의 품질을 향상시키기 위해.
• 완전 지도 학습 기반의 적대적 훈련 프레임워크를 사용하여 Pascal VOC 2012와 같은 벤치마크 데이터셋에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 생성자(G-네트워크)는 자연 이미지를 입력으로 받아 합성 시각적 중요도 맵을 출력하는 완전 컨볼루션 네트워크이다.
• 구분자(D-네트워크)는 입력이 진짜 시각적 중요도 맵인지 합성 맵인지 분류하도록 훈련되며, 21개의 클래스(20개의 객체 클래스 + 1개의 합성 클래스)를 사용한다.
• D-네트워크에 새로운 컨볼루션 비교 레이어를 도입하여 진짜와 합성 시각적 중요도 맵의 고수준 특징 간의 차이를 최소화한다.
• 훈련 과정은 6 에포크 동안 구분자를 갱신하고, 2 에포크 동안 생성자를 갱신하는 방식으로 번갈아가며, 학습률 감소를 적용한 SGD를 사용한다.
• 후처리 단계에서는 SLIC 슈퍼픽셀과 저수준 특징(Fu 등에 의해 제안된 바와 유사한 특징들)을 적용하여 최종 시각적 중요도 맵을 정밀하게 다듬는다.
• 훈련 세트의 클래스 레이블을 활용하여 G-네트워크와 D-네트워크 양쪽을 지도 학습시키며, 완전 지도 학습 기반의 적대적 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전 지도 학습과 함께 적대적 훈련을 적용할 경우, 기존의 전통적인 바텀업 또는 약한 지도 학습 방법에 비해 시각적 중요도 탐지 성능이 향상되는가?
• RQ2 제안된 컨볼루션 비교 레이어가 진짜와 합성 시각적 중요도 맵의 고수준 특징을 얼마나 효과적으로 정렬하여 탐지 품질을 향상시키는가?
• RQ3 클래스 수준의 지도 학습과 적대적 학습의 통합이 복잡한 실세계 이미지에 대해 더 나은 일반화 성능을 이끌어내는가?
• RQ4 Pascal VOC 2012에서 제안된 SAN 모델이 Fβ 점수와 시각적 품질 측면에서 최신 기준 시각적 중요도 탐지 방법들보다 어떻게 뛰어나게 되는가?

주요 결과

• 제안된 SAN 모델은 Pascal VOC 2012 검증 세트에서 Fβ 점수 0.681을 기록하여 기준 모델들인 RC(0.561)와 Deep Saliency(0.678)를 초월한다.
• 적대적 훈련, 완전 지도 학습, 그리고 컨볼루션 비교 레이어의 통합은 아블레이션 버전들(예: 후처리 없이 SAN을 사용할 경우 0.613)에 비해 성능 향상에 크게 기여한다.
• 잡음이 많거나 경계가 모호한 복잡한 이미지에 대해서도 모델이 고해상도의 시각적 중요도 맵을 생성함으로써 정성적 결과를 통해 그 성능을 입증한다.
• α=0.8로 설정된 컨볼루션 비교 레이어는 진짜와 합성 시각적 중요도 맵 간의 특징 불일치를 효과적으로 줄여 성능 향상에 기여한다.
• 기존의 전통적인 바텀업 방법과 최근의 CNN 기반 시각적 중요도 모델들을 모두 능가하며, 지도 기반 GAN 접근법의 효과성을 입증한다.
• SLIC 슈퍼픽셀과 저수준 특징을 활용한 후처리를 통해 시각적 중요도 맵의 공간 일관성과 경계 정확도가 더욱 향상된다.