[논문 리뷰] A Dilated Inception Network for Visual Saliency Prediction

Sheng Yang, Guosheng Lin외 2명|arXiv (Cornell University)|2019. 04. 07.

Visual Attention and Saliency Detection참고 문헌 57인용 수 10

한 줄 요약

이 논문은 계산 비용을 줄이고 효율적으로 다중 척도의 문맥적 특징을 캡처할 수 있도록 한 경량의 엔드 투 엔드 확장 인셉션 네트워크(DINet)를 제안한다. 확장 인셉션 모듈(DIM)을 사용하여 계산량을 줄이고 성능을 유지하면서 다중 척도의 문맥적 특징을 효율적으로 추출한다. 선형 정규화 기반의 손실 함수를 사용하여 시각적 주목도 예측을 확률 분포 예측 문제로 재정의함으로써, 기존 방법보다 빠른 추론 시간을 기록하면서도 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Recently, with the advent of deep convolutional neural networks (DCNN), the improvements in visual saliency prediction research are impressive. One possible direction to approach the next improvement is to fully characterize the multi-scale saliency-influential factors with a computationally-friendly module in DCNN architectures. In this work, we proposed an end-to-end dilated inception network (DINet) for visual saliency prediction. It captures multi-scale contextual features effectively with very limited extra parameters. Instead of utilizing parallel standard convolutions with different kernel sizes as the existing inception module, our proposed dilated inception module (DIM) uses parallel dilated convolutions with different dilation rates which can significantly reduce the computation load while enriching the diversity of receptive fields in feature maps. Moreover, the performance of our saliency model is further improved by using a set of linear normalization-based probability distribution distance metrics as loss functions. As such, we can formulate saliency prediction as a probability distribution prediction task for global saliency inference instead of a typical pixel-wise regression problem. Experimental results on several challenging saliency benchmark datasets demonstrate that our DINet with proposed loss functions can achieve state-of-the-art performance with shorter inference time.

연구 동기 및 목표

• 시각적 주목도 예측을 위해 다중 척도의 문맥적 특징을 효과적으로 캡처할 수 있는 계산 비용이 적은 딥 러닝 아키텍처를 개발하는 것.
• 기존의 DCNN에서 다중 척도 특징 추출 모듈의 계산 비용을 줄이되 성능을 유지하거나 향상시키는 것.
• 표준 픽셀 단위의 회귀가 아닌 확률 분포 예측 문제로 주목도 예측을 재정의하여 성능을 향상시키는 것.
• 기존 모델들과 비교해 더 빠른 추론 시간을 기록하면서도 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 다양한 확장률을 사용하는 병렬 확장 컨벌루션을 사용하여 표준 컨벌루션을 대체함으로써 파rameter 수나 계산량을 늘리지 않고 수용역을 확장하는 확장 인셉션 모듈(DIM)을 제안한다.
• 에코더-디코더 아키텍처의 완전 컨볼루션 네트워크를 설계하며, 에코더는 DIM을 사용해 계층적 특징을 추출하고, 디코더는 주목도 맵을 재구성한다.
• 모델을 분포 예측 문제로 학습시키기 위해 선형 정규화 기반의 확률 분포 거리 측정 기반 손실 함수 세트를 도입한다.
• 제안된 손실 함수를 사용해 엔드 투 엔드 학습을 수행함으로써 전역 주목도 추론을 최적화한다.
• 기존의 소프트맥스 정규화를 대체하기 위해 손실 함수에 선형 정규화를 도입하여 학습을 안정화하고 일반화 성능을 향상시킨다.
• AUC, CC, EMD, 평균 절대 오차(MAE) 등의 표준 지표를 사용해 SALICON, MIT1003, MIT300 등의 여러 벤치마크 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 확장 컨벌루션을 사용해 인셉션 모듈 내의 표준 다중 브랜치 컨벌루션을 효과적으로 대체할 수 있는가? 이는 계산량을 줄이면서도 다중 척도 특징 표현을 유지할 수 있는가?
• RQ2 주목도 예측을 표준 회귀나 소프트맥스 기반의 확률 손실이 아닌, 확률 분포 예측 문제로 재정의할 경우 성능 향상이 이루어지는가?
• RQ3 제안된 DIM과 손실 함수를 갖춘 경량의 엔드 투 엔드 네트워크가 더 빠른 추론 시간을 기록하면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 모델은 다양한 주목도 데이터셋에 대해 일반화 능력이 뛰어나며, 새로운 데이터로 파인튜닝을 수행했을 때 성능 향상이 이루어지는가?

주요 결과

• DINet는 SALICON 및 MIT1003 데이터셋에서 최신 기술 수준의 성능을 기록하며, AUC, CC, EMD 지표에서 기존 모델들을 능가한다.
• 더 높은 정확도를 기록하면서도, 480×640 해상도에서 이미지당 0.06초의 빠른 추론 시간을 기록하여 DSCLRCN(0.27초)보다 빠른 성능을 보였다.
• MIT1003에서의 파인튜닝이 MIT300에서의 성능 향상에 크게 기여하여 강력한 일반화 능력을 입증했다.
• 제안된 선형 정규화 기반의 손실 함수는 표준 회귀 손실 및 소프트맥스 기반의 확률 손실 함수보다 주목도 예측 정확도에서 뛰어난 성능을 보였다.
• 강력한 성능에도 불구하고, 다수의 주목할 만한 객체가 포함된 장면에서는 다중 척도 특징만으로 상대적 중요도를 잘 포착하지 못하는 경향을 보였다.
• 대부분의 지표에서 SAM 및 DSCLRCN과 비교해 유사하거나 더 뛰어난 성능을 기록했으며, 파라미터 수와 추론 시간이 더 적었다.