[논문 리뷰] DSAL-GAN: Denoising based Saliency Prediction with Generative Adversarial Networks

Prerana Mukherjee, Manoj Sharma외 6명|arXiv (Cornell University)|2019. 04. 02.

Visual Attention and Saliency Detection참고 문헌 10인용 수 7

한 줄 요약

DSAL-GAN는 두 개의 결합된 GAN을 사용하여 이미지 노이즈 제거와 강조 영역 예측을 동시에 수행하는 엔드 투 엔드 생성적 적대적 네트워크 프레임워크를 제안한다. 이는 노이즈가 있는 이미지에서 최신 기술 수준의 성능을 달성하며, 노이즈 분산 σ=50일 때 Sal-GAN 및 Deep Saliency 대비 평균 F-측정치를 최대 16% 향상시키고 MAE를 47% 감소시킨다.

ABSTRACT

Synthesizing high quality saliency maps from noisy images is a challenging problem in computer vision and has many practical applications. Samples generated by existing techniques for saliency detection cannot handle the noise perturbations smoothly and fail to delineate the salient objects present in the given scene. In this paper, we present a novel end-to-end coupled Denoising based Saliency Prediction with Generative Adversarial Network (DSAL-GAN) framework to address the problem of salient object detection in noisy images. DSAL-GAN consists of two generative adversarial-networks (GAN) trained end-to-end to perform denoising and saliency prediction altogether in a holistic manner. The first GAN consists of a generator which denoises the noisy input image, and in the discriminator counterpart we check whether the output is a denoised image or ground truth original image. The second GAN predicts the saliency maps from raw pixels of the input denoised image using a data-driven metric based on saliency prediction method with adversarial loss. Cycle consistency loss is also incorporated to further improve salient region prediction. We demonstrate with comprehensive evaluation that the proposed framework outperforms several baseline saliency models on various performance benchmarks.

연구 동기 및 목표

• 기존 방법이 노이즈 오분류로 인해 실패하는 노이즈가 있는 이미지에서의 주요 객체 탐지 과제를 해결하기 위해.
• 노이즈 제거와 강조 영역 예측을 동시에 최적화하여 강건성을 향상시키는 통합 딥 러닝 프레임워크를 개발하기 위해.
• 적대적 훈련과 사이클 일致성 손실을 활용하여 노이즈 조건에서의 강조 지ap 품질을 향상시키기 위해.
• 합성 노이즈가 포함된 벤치마크 데이터셋에서 최신 기술 수준의 강조 영역 탐지 모델보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 프레임워크는 두 개의 결합된 GAN을 활용한다: 첫 번째 GAN은 스키플러닝 기반 생성자와 노이즈 제거된 이미지와 진짜 이미지를 구분하는 판별자를 사용하여 입력 이미지를 노이즈 제거한다.
• 두 번째 GAN은 노이즈 제거된 이미지에서 U-Net 유사 인코더-디코더 생성자를 사용하여 강조 지도를 예측하고, 예측된 강조 지도와 진짜 강조 지도를 구분하는 판별자를 사용한다.
• 내용 손실(L2)과 적대적 손실이 두 GAN 모두를 훈련하는 데 사용되어 픽셀 수준의 정밀도와 현실적인 출력 분포를 보장한다.
• 사이클 일치성 손실이 강조 지도 예측 브랜치에 도입되어 구조적 일관성을 향상시키고 강조 지도 경계를 정밀하게 다듬는다.
• 노이즈 제거 및 강조 지도 네트워크의 사전 훈련된 가중치를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시켜 공동 최적화를 가능하게 한다.
• 모델은 MSRA-10k, ECSSD, SOD 데이터셋의 합성 노이즈 버전에서 테스트되며, 가우시안 노이즈(σ ∈ [10, 30, 50, 80])를 사용한다.

실험 결과

연구 질문

• RQ1 통합 GAN 프레임워크가 노이즈가 있는 입력에서 이미지 노이즈 제거와 강조 영역 예측을 동시에 최적화하여 강건성을 향상시킬 수 있는가?
• RQ2 노이즈가 있는 이미지 환경에서 사이클 일치성 손실의 통합이 강조 지도 품질에 어떤 영향을 미치는가?
• RQ3 이중 판별자를 사용한 적대적 훈련이 기존 강조 영역 탐지 모델에 비해 노이즈가 있는 데이터에서 성능을 얼마나 향상시키는가?
• RQ4 노이즈 분산이 증가함에 따라 성능이 어떻게 떨어지며, DSAL-GAN은 높은 노이즈 수준에서도 높은 정확도를 유지할 수 있는가?
• RQ5 엔드 투 엔드 공동 훈련이 노이즈 제거 및 강조 지도 네트워크의 순차적 또는 독립적 훈련보다 우수한 성능을 내는가?

주요 결과

• MSRA-10k 데이터셋에서 노이즈 분산 σ=50일 때 DSAL-GAN은 최대 F-측정치(maxF)를 16% 향상시키고, Deep Saliency 대비 평균 MAE를 47% 감소시켰다.
• 동일한 데이터셋에서 DSAL-GAN은 평균 F-측정치(aveF)를 16% 향상시키고 AUC를 21% 향상시켜 픽셀 수준의 분류 정확도가 뛰어나다는 것을 입증했다.
• σ=50일 때 DSAL-GAN은 MSRA-10k에서 AUC 0.9012를 달성하여 Sal-GAN(0.8221)과 Deep Saliency(0.6523)를 크게 앞서며, σ=80일 때 AUC가 0.4512로 떨어지더라도 비교적 낮은 감소율을 보였다.
• 사이클 일치성 손실의 통합은 특히 객체 경계를 유지하고 잡음으로 인한 오분류를 줄이는 데 있어 명확한 성능 향상을 가져왔다.
• 노이즈 증가에 따른 성능 저하가 관찰되었지만, DSAL-GAN은 기준 모델 대비 상대적으로 높은 AUC(0.8503, ECSSD, σ=50)를 유지하여 강건성을 입증했다.
• 모델은 MSRA-10k, ECSSD, SOD 등 모든 벤치마크 데이터셋에서 일致된 성능 향상을 보이며 다양한 이미지 분포에 대한 일반화 능력을 확인했다.