[논문 리뷰] Diversifying Spatial-Temporal Perception for Video Domain Generalization

Kun-Yu Lin, Jia-Run Du외 3명|arXiv (Cornell University)|2023. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 공간적 및 시간적 특징 학습에서의 다양성을 향상시켜 영상 도메인 일반화를 향상시키기 위해 공간-시간 다각화 네트워크(Spatial-Temporal Diversification Network, STDN)를 제안한다. 공간 그룹화 모듈과 공간-시간 관계 모듈을 도입함으로써 정적 도메인 특화 특징(예: 빅백보드)이 아닌 도메인 불변 특징(예: 움직이는 물체, 예를 들어 농구공)을 탐지함으로써, 두 가지 새로운 벤치마크를 포함한 세 가지 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Video domain generalization aims to learn generalizable video classification models for unseen target domains by training in a source domain. A critical challenge of video domain generalization is to defend against the heavy reliance on domain-specific cues extracted from the source domain when recognizing target videos. To this end, we propose to perceive diverse spatial-temporal cues in videos, aiming to discover potential domain-invariant cues in addition to domain-specific cues. We contribute a novel model named Spatial-Temporal Diversification Network (STDN), which improves the diversity from both space and time dimensions of video data. First, our STDN proposes to discover various types of spatial cues within individual frames by spatial grouping. Then, our STDN proposes to explicitly model spatial-temporal dependencies between video contents at multiple space-time scales by spatial-temporal relation modeling. Extensive experiments on three benchmarks of different types demonstrate the effectiveness and versatility of our approach.

연구 동기 및 목표

• 원천 도메인에서 도메인 특화 특징에 과적합하는 영상 도메인 일반화 문제를 해결하기 위해.
• 미사용 타겟 도메인에서 실패하는 정적이고 쉽게 적합 가능한 도메인 특화 특징(예: 빅백보드)에 대한 의존도를 줄이기 위해.
• 공간-시간 특징의 다양성을 향상시켜 도메인 불변 특징(예: 농구공처럼 동적인 물체)을 탐지하고 활용하기 위해.
• 다중 스케일을 통한 공간-시간 의존성의 명시적 모델링을 통해 모델의 일반화 능력을 향상시키기 위해.
• 공간 및 시간 차원에서의 특징 다양성을 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• 개별 프레임에서 다양한 공간적 특징을 추출하기 위해 군집화 유사 과정을 적용하는 공간 그룹화 모듈(Spatial Grouping Module, SGM)을 제안하여 공간적 특징 다양성을 향상시킨다.
• 다중 공간-시간 스케일에서 영상 콘텐츠 간의 의존성을 모델링하는 공간-시간 관계 모듈(Spatial-Temporal Relation Module, TRM)을 도입하여 시간적 및 공간적 관계 다양성을 향상시킨다.
• 다른 시간 스케일에서의 시간적 관계 특징 간 차이를 최대화하기 위해 관계 구분 손실 $L_{\mathrm{rel}}$ 을 사용하여 특징 붕괴를 방지한다.
• 시간적 관계 특징의 다양성을 정량적으로 측정하기 위해 정규화된 평균 제곱오차(Normalized Mean Square Error, MSE)를 사용하며, 높은 값일수록 더 큰 다양성을 의미한다.
• 공간 군집 품질 평가를 위해 t-SNE와 Davies-Bouldin 지수를 활용하여 SGM이 평균 풀링보다 더 잘 분리된 군집을 생성함을 확인한다.
• Grad-CAM 시각화를 통해 주의 맵을 비교함으로써 STDN이 움직이는 농구공과 같은 다양한, 특히 도메인 불변 특징에 집중하는 반면, 기준 모델은 정적 빅백보드에 의존함을 입증한다.

Figure 1: Video classification models suffer from the misguidance of domain-specific cues when generalizing to unseen domains. As shown in the figure, in the source domain, the static backboard provides a clearer cue compared with the blurred basketball in motion, thus prevailing video classificatio

실험 결과

연구 질문

• RQ1 공간적 및 시간적 특징 다양성을 향상시키는 것이 영상 도메인 일반화에서 도메인 특화 특징에 대한 과적합을 줄일 수 있는가?
• RQ2 다중 스케일을 통한 공간-시간 의존성 모델링이 미사용 도메인으로의 일반화 능력을 향상시키는가?
• RQ3 군집화 유사 공간 그룹화 기법이 영상 프레임에서 더 다양한, 더 구분력 있는 공간적 특징을 추출할 수 있는가?
• RQ4 제안된 관계 구분 손실이 시간 스케일 간 특징 다양성을 어느 정도 향상시키는가?
• RQ5 모델이 정적 도메인 특화 특징(예: 빅백보드) 대신 동적인 도메인 불변 특징(예: 움직이는 물체)에 의존함으로써 더 나은 일반화를 달성할 수 있는가?

주요 결과

• STDN은 두 가지 새로 설계된 벤치마크를 포함한 세 가지 벤치마크에서 최신 기술 성능을 달성하여 그 효과성과 유연성을 입증한다.
• 제안된 관계 구분 손실 $L_{\mathrm{rel}}$ 은 서로 다른 스케일에서의 시간적 관계 특징 간 정규화된 MSE를 크게 증가시켜 다양성 향상을 나타낸다.
• t-SNE 시각화 결과, 공간 그룹화 모듈은 평균 풀링보다 더 잘 분리된 공간 군집을 생성하며, Davies-Bouldin 지수가 낮아졌다.
• Grad-CAM 시각화 결과, STDN이 움직이는 농구공과 같은 다양한 특징에 집중하는 반면, 기준 모델은 정적 빅백보드에 의존함을 확인할 수 있다.
• 도메인 특화 특징(예: 빅백보드)이 가림을 입는 미사용 도메인으로의 일반화 능력이 더 뛰어나지, 도메인 불변 특징을 활용할 수 있는 능력 덕분이다.
• 정량적 분석 결과, SGM과 TRM에 관계 손실을 결합한 경우, STDN의 특징 다양성은 기준 모델보다 뚜렷이 높게 나타났다.

Figure 2: An overview of our proposed Spatial-Temporal Diversification Network (STDN). We use a video of $N=5$ segments with $K=4$ spatial groups for example. After backbone feature extraction, our STDN extracts spatial cues of $K$ types for each frame by the Spatial Grouping Module, enriching the d