[논문 리뷰] SalGAN: Visual Saliency Prediction with Generative Adversarial Networks

Junting Pan, Cristian Canton-­Ferrer외 5명|arXiv (Cornell University)|2017. 01. 04.

Visual Attention and Saliency Detection참고 문헌 23인용 수 336

한 줄 요약

SalGAN은 GAN 손실과 BCE 콘텐츠 손실을 결합하여 시각 주목도 맵을 예측하며 MIT300과 SALICON에서 여러 지표에 걸쳐 최첨단 성능을 달성합니다.

ABSTRACT

We introduce SalGAN, a deep convolutional neural network for visual saliency prediction trained with adversarial examples. The first stage of the network consists of a generator model whose weights are learned by back-propagation computed from a binary cross entropy (BCE) loss over downsampled versions of the saliency maps. The resulting prediction is processed by a discriminator network trained to solve a binary classification task between the saliency maps generated by the generative stage and the ground truth ones. Our experiments show how adversarial training allows reaching state-of-the-art performance across different metrics when combined with a widely-used loss function like BCE. Our results can be reproduced with the source code and trained models available at https://imatge-upc.github.io/saliency-salgan-2017/.

연구 동기 및 목표

• 데이터 주도 손실로 여러 주목도 지표에 맞추어 single metric을 최적화하기보다 시선 예측을 유도합니다.
• 주목도 맵 예측을 위한 인코더-디코더 생성기 네트워크(SalGAN)를 제안합니다.
• 예측된 주목도 맵과 ground truth를 구분하는 판별기를 도입하여 적대적 학습을 추진합니다.
• 적대적 학습이 여러 지표에서 성능 향상을 가져오는지 보여줍니다.
• 훈련 중 주목도 맵을 다운샘플링하면 계산량은 줄이고 정확도를 해치지 않습니다.

제안 방법

• VGG-16의 마지막 두 개의 컨볼루션 블록까지를 포함하도록 초기화된 인코더-디코더 생성기(SalGAN)와 입력 해상도에서 주목도 맵을 생성하는 대칭 디코더.
• 이미지+주목도 쌍을 처리하는 판별기 네트워크로 실제 주목도 맵과 생성된 주목도 맵을 구분합니다.
• 콘텐츠 손실은 주로 픽셀 단위 주목 확률에 대한 BCE를 사용합니다(픽셀마다 시그모이드 출력).
• 적대적 손실은 생성기 손실 항으로 Discriminator를 속이도록 BCE와 결합하여 L(D(I, Ŝ), 1)을 사용합니다.
• 적대적 학습을 도입하기 전에 BCE만 사용하는 예비 학습(≈15에포크)으로 시작한 후 생성기와 판별기의 교대 업데이트를 수행합니다.
• 훈련 도중 주목도 맵의 다운샘플링(예: 256x192에서 64x48)으로 계산량을 줄이면서 성능은 보존합니다.

실험 결과

연구 질문

• RQ1 적대적 학습이 전통적인 픽셀 단위 손실을 넘어 시각 주목도 예측을 개선할 수 있는가?
• RQ2 훈련 중 주목도 맵의 다운샘플링이 예측 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 SalGAN은 여러 주목도 평가 지표에서 최신 방법과 비교하여 어떤 성능을 보이는가?
• RQ4 BCE 콘텐츠 손실과 적대적 손실의 결합이 BCE만 사용하는 경우보다 안정적이고 더 나은 수렴을 보이는가?

주요 결과

• 적대적 학습은 SALICON 검증 및 MIT300 벤치마크에서 BCE 단독에 비해 여러 주목도 지표를 개선했습니다.
• 훈련 중 주목도 맵을 1/4로 다운샘플링해도 성능이 저하되지 않고 지표가 향상될 수 있습니다.
• BCE 콘텐츠 손실은 강력한 초기화를 제공하고 적대적 학습을 안정시키며, BCE+GAN 손실은 대부분의 지표에서 더 나은 전반적 성능을 제공합니다.
• SalGAN은 여러 지표에서 SALICON 테스트 및 MIT300에 대해 최신 최첨단 방법과 비교해 경쟁력 있는 또는 우수한 결과를 보였습니다.
• 정성적 결과는 BCE만 사용한 모델에서 포착되지 않는 주목 영역을 SalGAN이 예측하고 더 매끄러운 주목도 맵을 생성함을 보여줍니다.
• NSS는 모든 실험에서 적대적 학습이 일관되게 개선하지 못한 유일한 지표입니다.