[논문 리뷰] Adversarial Pyramid Network for Video Domain Generalization

Zhiyu Yao, Yunbo Wang외 3명|arXiv (Cornell University)|2019. 12. 08.

Human Pose and Action Recognition참고 문헌 23인용 수 5

한 줄 요약

이 논문은 비디오 도메인 일반화를 위한 적대적 피라미드 네트워크(APN)를 제안하며, 다양한 시간 스케일에서 국소적 관계 특징과 함께 전역 및 상호 관계 특징을 학습하여 시간적 도메인 이동 문제를 해결한다. APN은 특징 전이 능력을 향상시키고 적대적 데이터 증강을 강화하여 네 개의 새로운 비디오 DG 벤치마크에서 이전 모델들을 능가한다.

ABSTRACT

This paper introduces a new research problem of video domain generalization (video DG) where most state-of-the-art action recognition networks degenerate due to the lack of exposure to the target domains of divergent distributions. While recent advances in video understanding focus on capturing the temporal relations of the long-term video context, we observe that the global temporal features are less generalizable in the video DG settings. The reason is that videos from other unseen domains may have unexpected absence, misalignment, or scale transformation of the temporal relations, which is known as the temporal domain shift. Therefore, the video DG is even more challenging than the image DG, which is also under-explored, because of the entanglement of the spatial and temporal domain shifts. This finding has led us to view the key to video DG as how to effectively learn the local-relation features of different time scales that are more generalizable, and how to exploit them along with the global-relation features to maintain the discriminability. This paper presents the Adversarial Pyramid Network (APN), which captures the local-relation, global-relation, and multilayer cross-relation features progressively. This pyramid network not only improves the feature transferability from the view of representation learning, but also enhances the diversity and quality of the new data points that can bridge different domains when it is integrated with an improved version of the image DG adversarial data augmentation method. We construct four video DG benchmarks: UCF-HMDB, Something-Something, PKU-MMD, and NTU, in which the source and target domains are divided according to different datasets, different consequences of actions, or different camera views. The APN consistently outperforms previous action recognition models over all benchmarks.

연구 동기 및 목표

• 시간적 및 공간적 분포가 상이한 새로운 도메인에서 행동 인식 모델이 실패하는 비디오 도메인 일반화(video DG) 문제에 대응한다.
• 비교적 예측 불가능한 시간적 도메인 이동(예: 비일치 또는 척도 변화)으로 인해 전역 시간 특징이 일반화 능력이 떨어지므로 이를 규명한다.
• 시간적 도메인 이동에 더 강건한 국소적 관계 특징을 다중 시간 스케일에서 학습함으로써 일반화 능력을 향상시키는 해결책을 제안한다.
• 피라미드 특징 학습을 개선된 이미지 DG 기반의 적대적 데이터 증강과 통합하여 도메인 일반화 능력과 데이터 다양성을 향상시킨다.
• 다양한 데이터셋, 행동 결과, 카메라 시점에서의 일반화를 평가하기 위해 네 개의 새로운 비디오 DG 벤치마크를 구축한다.

제안 방법

• 다중 시간 스케일에서 국소적 관계 특징, 전역 관계 특징, 다층 상호 관계 특징을 점진적으로 캡처하는 피라미드 네트워크를 설계한다.
• 계층적 특징 학습 전략을 사용하여 장기적 전역 특징보다 도메인 이동에 더 강인한 국소적 시간 패턴을 강조한다.
• 피라미드 네트워크를 이미지 DG에 기반한 개선된 적대적 데이터 증강 방법과 통합하여 비디오에 맞게 다양한 도메인 간 브리징 비디오 샘플을 생성한다.
• 도메인에 의존하지 않는 표현 학습 목표를 사용하여 도메인 특화된 편향을 최소화하면서도 행동 구분 능력을 유지한다.
• 적대적 훈련을 통해 실제적인 도메인에 종속되지 않은 데이터 포인트를 합성하여 다양한 도메인에서의 특징 일반화 능력을 향상시킨다.
• 정확도와 도메인 불변성 향상을 위해 분류 손실과 적대적 손실의 조합을 사용하여 네트워크를 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 예상치 못한 시간적 도메인 이동이 발생할 경우 비디오 도메인 일반화에서 전역 시간 특징의 성능은 어떻게 되는가?
• RQ2 다중 시간 스케일에서 국소적 관계 특징을 학습하는 것이 전역 시간 모델링에 의존하는 것보다 비디오 DG에서 일반화 능력을 향상시키는가?
• RQ3 피라미드 네트워크 아키텍처는 공간적 및 시간적 도메인 이동에 대해 특징 전이 능력과 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 피라미드 특징 학습과 적대적 데이터 증강을 통합할 경우 비디오 행동 인식에서 도메인 갭을 메우는 데 얼마나 효과적인가?
• RQ5 제안된 방법은 다양한 새로운 비디오 DG 벤치마크에서 기존 모델 대비 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• 적대적 피라미드 네트워크(APN)는 새로 제작된 네 개의 비디오 DG 벤치마크(UFC-HMDB, Something-Something, PKU-MMD, NTU)에서 일관된 성능 향상을 기록한다.
• APN은 모든 벤치마크에서 이전 최고 성능 모델을 능가하며, 새로운 도메인에 대한 일반화 능력이 뛰어나다는 것을 입증한다.
• 절단 분석 결과, 다중 시간 스케일에서의 국소적 관계 특징이 전역 시간 특징보다 시간적 도메인 이동에 더 강건함을 확인한다.
• 피라미드 네트워크와 적대적 데이터 증강의 통합은 합성 훈련 샘플의 다양성과 품질을 크게 향상시켜 도메인 일반화 능력을 강화한다.
• 이러한 방법은 공간적 및 시간적 도메인 이동의 엉키는 문제를 효과적으로 완화하며, 이는 비디오 DG에서의 핵심 과제이다.
• 결과적으로 다중 스케일 국소 관계 학습이 분포 이동 상황에서 비디오 도메인 일반화의 강건성을 확보하는 데 필수적임을 검증한다.