[논문 리뷰] Multi-Source Video Domain Adaptation with Temporal Attentive Moment Alignment

Yuecong Xu, Jianfei Yang외 5명|arXiv (Cornell University)|2021. 09. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 5

한 줄 요약

이 논문은 다중 소스 비디오 도메인 적응(MSVDA)을 위한 새로운 시간적 주의 기반 순간 정렬 네트워크인 TAMAN을 제안한다. TAMAN은 다수의 소스 및 타겟 도메인 간에 공간적 및 시간적 특징 순간을 동시에 정렬한다. 높은 신뢰도를 가지며 도메인에 불변인 국소 시간적 특징에 주의를 기울이고 동적으로 순간을 정렬함으로써, 음성 전이를 감소시키고 새로운 종합적인 MSVDA 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-Source Domain Adaptation (MSDA) is a more practical domain adaptation scenario in real-world scenarios. It relaxes the assumption in conventional Unsupervised Domain Adaptation (UDA) that source data are sampled from a single domain and match a uniform data distribution. MSDA is more difficult due to the existence of different domain shifts between distinct domain pairs. When considering videos, the negative transfer would be provoked by spatial-temporal features and can be formulated into a more challenging Multi-Source Video Domain Adaptation (MSVDA) problem. In this paper, we address the MSVDA problem by proposing a novel Temporal Attentive Moment Alignment Network (TAMAN) which aims for effective feature transfer by dynamically aligning both spatial and temporal feature moments. TAMAN further constructs robust global temporal features by attending to dominant domain-invariant local temporal features with high local classification confidence and low disparity between global and local feature discrepancies. To facilitate future research on the MSVDA problem, we introduce comprehensive benchmarks, covering extensive MSVDA scenarios. Empirical results demonstrate a superior performance of the proposed TAMAN across multiple MSVDA benchmarks.

연구 동기 및 목표

• 다양한 공간-시간 분포를 보이는 다수의 소스 도메인으로 인해 발생하는 음성 전이 문제를 해결하기 위해 다중 소스 비디오 도메인 적응(MSVDA)의 과제를 다루는 것.
• 모든 소스-타겟 도메인 쌍 간에 공간적 및 시간적 특징 순간을 동시에 정렬하는 통합 프레임워크를 개발하는 것.
• 높은 분류 신뢰도를 가지며 전역 및 국소 표현 간의 차이가 작은 국소 시간적 특징에 주의를 기울여 강력한 전역 시간적 특징을 구성하는 것.
• 실세계 비디오 데이터셋을 사용하여 다양한 도메인 이동을 수반하는 종합적이고 대규모의 벤치마크를 구축하여 향후 MSVDA 연구를 위한 기반을 마련하는 것.
• 다양하고 현실적인 MSVDA 시나리오(다수의 소스 도메인과 도전적인 타겟 도메인 포함)에서 제안된 방법의 유효성을 입증하는 것.

제안 방법

• TAMAN은 프레임 수준의 특징 추출을 위해 ResNet-101 백본과 시간 관계 네트워크를 사용하며, 사전 학습된 레이어는 동결하고 새로운 레이어는 미세 조정한다.
• 국소 시간적 특징에 대한 주의를 통해 전역 시간적 특징을 구성하며, 국소 분류 신뢰도와 전역 및 국소 특징 분포 간의 차이를 가중치로 사용한다.
• 모든 도메인 쌍 간에 공간적 및 시간적 특징의 순간 기반 정렬을 수행하여 분포의 분산을 최소화하면서 음성 전이를 감소시킨다.
• 공간적 및 시간적 특징 정렬을 균형 있게 조절하기 위해 학습 가능한 가중치(λdf=0.005, λdt=0.01)를 사용하는 이중 차이 손실을 적용한다.
• SGD를 사용하여 학습하며, 100 에포크(Daily-DA) 또는 40 에포크(Sports-DA) 동안 초기 학습률을 코사인 감쇠시키고 가중치 감쇠를 적용한다.
• 소스 도메인에서 특징 정렬 및 분류 손실을 동시에 최적화하여 도메인에 불변인 표현 학습을 달성한다.

실험 결과

연구 질문

• RQ1 다양한 소스 도메인 간에 일관되지 않은 공간-시간 분포로 인해 발생하는 다중 소스 비디오 도메인 적응(MSVDA)에서의 음성 전이를 효과적으로 줄일 수 있는 방법은 무엇인가?
• RQ2 국소 시간적 특징에 대한 주의 메커니즘이 MSVDA에서 전역 시간적 표현의 강건성과 불변성을 향상시킬 수 있는가?
• RQ3 모든 도메인 쌍 간에 공간적 및 시간적 특징 순간을 동시에 정렬하는 것이 쌍별 정렬보다 더 나은 일반화 성능을 이끌 수 있는가?
• RQ4 다양한 소스 도메인 조합(Kinetics, UCF101, HMDB51 등)이 실세계 비디오 적응 시나리오에서 모델 성능에 미치는 영향은 어떠한가?
• RQ5 통합 프레임워크가 상당한 도메인 이동이 있는 대규모이고 다양한 비디오 벤치마크에서 기존의 UDA 및 VUDA 방법을 능가할 수 있는가?

주요 결과

• TAMAN은 Daily-DA 및 Sports-DA를 포함한 다양한 MSVDA 벤치마크에서 최신 기술 수준의 성능을 달성하여 복잡한 도메인 이동 상황에서도 뛰어난 일반화 능력을 입증한다.
• 제안된 국소 시간적 특징에 대한 주의 메커니즘은 전역 특징의 강건성을 크게 향상시키며, 특히 RGB 통계가著로 다름을 보이는 저조도 도메인인 ARID에서 두드러진 효과를 보인다.
• 공간적 및 시간적 특징의 순간 기반 정렬은 오차 정렬과 음성 전이를 감소시켜, 개별적으로나 쌍별로 특징을 정렬하는 방법보다 우수한 성능을 내는 것으로 확인되었다.
• Daily-DA 벤치마크에서 TAMAN은 모든 네 개의 타겟 도메인(A, H, M, K)에서 일관된 정확도 향상을 보였으며, 가장 도전적인 도메인인 ARID에서 두드러진 개선을 보였다.
• 더 큰 Sports-DA 벤치마크에서는 세 가지 작업(Sports→U, S, K)에서 강력한 성능 유지를 보이며, 고용량의 실세계 비디오 데이터에 대한 확장성을 입증했다.
• 제거 실험을 통해 국소 신뢰도 가중치와 전역-국소 차이 최소화가 최적 성능을 내기 위해 필수적임을 확인하였으며, 주의 메커니즘의 설계가 타당함을 검증하였다.