[논문 리뷰] Video Saliency Detection with Domain Adaptation using Hierarchical Gradient Reversal Layers.

Giovanni Bellitto, Federica Proietto Salanitri외 4명|arXiv (Cornell University)|2020. 10. 02.

Visual Attention and Saliency Detection참고 문헌 21인용 수 4

한 줄 요약

이 논문은 계층적 특징과 계층적 기울기 반전 레이어를 통한 도메인 적응을 활용한 3D 완전 컨volution 신경망 기반의 비디오 시각적 주목도 모델을 제안한다. 다중 척도 특징과 적대적 적응을 활용함으로써, DHF1K, Hollywood2 및 UCF Sports 벤치마크에서 감독 학습 설정에서는 최신 기술 수준(SOTA) 성능을 달성하고 비감독 설정에서는 경쟁 가능한 성능을 보였다.

ABSTRACT

In this work, we propose a 3D fully convolutional architecture for video saliency detection that employs multi-head supervision on intermediate maps (referred to as conspicuity maps) generated using features extracted at different abstraction level. More specifically, the model employs a single encoder and features extracted at different levels are then passed to multiple decoders aiming at predicting multiple saliency instances that are finally combined to obtain final output saliency maps. We also combine the hierarchical features extracted from the model's encoder with a domain adaptation approach based on gradient reversal at multiple scales in order to improve the generalization capabilities on datasets for which no annotations are provided during training. The results of our experiments on standard benchmarks, namely DHF1K, Hollywood2 and UCF Sports, show that the proposed model outperforms state-of-the-art methods on most metrics for supervised saliency prediction. Moreover, when tested in an unsupervised settings, it is able to obtain performance comparable to those achieved by supervised state-of-the-art methods.

연구 동기 및 목표

• 다양한 추상 수준에서 다중 수준의 특징 감시를 통해 비디오 시각적 주목도 검출 성능을 향상시키는 것.
• 계층적 기울기 반전을 활용한 도메인 적응을 통해 타겟 도메인에 대한 애너테이션 없이도 모델의 일반화 능력을 향상시키는 것.
• 타겟 도메인에 대한 애너테이션 없이도 감독 및 비감독 설정 모두에서 뛰어난 성능을 달성하는 것.
• 다중 디코더 감시와 적대적 적응을 통합한 유일한 아키텍처를 설계하여 시각적 주목도 예측 성능을 향상시키는 것.

제안 방법

• 모델은 다중 추상 수준에서 계층적 특징을 추출하기 위해 단일 3D 인코더를 사용한다.
• 중간 단계의 주목도 맵은 각각 다른 인코더 레벨의 특징을 처리하는 다중 디코더에 의해 생성된다.
• 다중 헤드 감시는 이러한 중간 맵에 적용되어 특징 학습 및 시각적 주목도 예측 정확도를 향상시킨다.
• 다양한 척도에서 계층적 기울기 반전 레이어를 적용하여 소스 도메인과 타겟 도메인 간의 특징 분포를 정렬한다.
• 역전파 동안 기울기를 반전시켜 도메인 간의 분포 차이를 최소화하면서도 작업에 특화된 특징를 유지함으로써 도메인 적응을 달성한다.
• 모든 디코더의 예측을 조합하여 최종 시각적 주목도 맵을 얻어 공간적 및 시간적 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 출력 모델 대비 계층적 특징에 대한 다중 헤드 감시가 비디오 시각적 주목도 검출 성능 향상에 기여하는가?
• RQ2 비디오 시각적 주목도 검출에서 계층적 기울기 반전이 제로샷 적응을 위한 도메인 분포 차이 감소에 얼마나 효과적인가?
• RQ3 제안된 모델은 타겟 도메인 애너테이션에 접근할 수 없음에도 불구하고 비감독 설정에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 다중 척도 감시와 도메인 적응의 통합이 다양한 비디오 데이터셋 간의 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 모델은 감독 학습 설정에서 DHF1K, Hollywood2 및 UCF Sports와 같은 표준 벤치마크에서 최신 기술 수준(SOTA) 기법들을 능가한다.
• 비감독 설정에서는 감독 학습 기반 SOTA 기법들과 비교해 유사한 성능을 달성하여 강력한 제로샷 일반화 능력을 입증한다.
• 중간 주목도 맵에 대한 다중 헤드 감시는 다양한 비디오 콘텐츠에서 더 정확하고 견고한 시각적 주목도 예측을 가능하게 한다.
• 계층적 기울기 반전은 도메인 적응을 크게 향상시켜 타겟 도메인에 대한 애너테이션이 없는 데이터셋에서의 성능 저하를 줄인다.
• 다중 척도 특징과 적대적 적응의 조합은 예측된 시각적 주목도 맵의 공간적 및 시간적 일관성을 향상시킨다.
• 스포츠 및 동적인 장면을 포함한 다양한 비디오 카테고리에서 뛰어난 성능 유지를 보이며 광범위한 적용 가능성을 시사한다.