[논문 리뷰] Temporal Attentive Alignment for Large-Scale Video Domain Adaptation

Min-Hung Chen, Zsolt Kira외 4명|arXiv (Cornell University)|2019. 07. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 16

한 줄 요약

이 논문은 대규모 비디오 도메인 적응을 향상시키기 위해 고차이(temporal dynamics)를 명시적으로 고려하는 더 효과적인 특징 정렬을 위해 TA3N, 즉 시간적 주의적 적대적 적응 네트워크를 제안한다. 이는 새로 도입된 두 개의 대규모 비디오 DA 데이터셋인 UCF-HMDB full과 Kinetics-Gameplay를 사용하여 최신 기술 수준(SOTA) 성능을 달성한다. 특히 HMDB→UCF에서 'Source only' 대비 7.9%의 정확도 향상을 기록했으며, Kinetics→Gameplay에서는 10.3% 향상을 기록했다.

ABSTRACT

Although various image-based domain adaptation (DA) techniques have been proposed in recent years, domain shift in videos is still not well-explored. Most previous works only evaluate performance on small-scale datasets which are saturated. Therefore, we first propose two large-scale video DA datasets with much larger domain discrepancy: UCF-HMDB_full and Kinetics-Gameplay. Second, we investigate different DA integration methods for videos, and show that simultaneously aligning and learning temporal dynamics achieves effective alignment even without sophisticated DA methods. Finally, we propose Temporal Attentive Adversarial Adaptation Network (TA3N), which explicitly attends to the temporal dynamics using domain discrepancy for more effective domain alignment, achieving state-of-the-art performance on four video DA datasets (e.g. 7.9% accuracy gain over "Source only" from 73.9% to 81.8% on "HMDB --> UCF", and 10.3% gain on "Kinetics --> Gameplay"). The code and data are released at http://github.com/cmhungsteve/TA3N.

연구 동기 및 목표

• 비디오에서의 도메인 이동 문제, 특히 기존의 소규모 기준을 초월하는 대규모 고차이 비디오 도메인 적응(DA) 벤치마크가 부족한 문제를 해결하기 위해.
• 비디오 DA에서 시간적 동적 특징과 공간적 특징을 정렬하는 것의 효과성을 조사하여, 도메인 적응 방법의 선택보다 시간적 정렬이 더 중요함을 입증하기 위해.
• 도메인 분포 인식 주의를 사용하여 고차이 시간적 특징에 주목하는 동시에 시간적 동적 특징과 함께 학습하는 새로운 방법 TA3N을 제안하기 위해.
• 향후 비디오 DA 방법의 철저한 평가 및 벤치마킹을 가능하게 하기 위해 UCF-HMDB full과 Kinetics-Gameplay라는 두 가지 새로운 대규모 비디오 DA 데이터셋을 공개하기 위해.

제안 방법

• 기존의 소규모 기준을 초월하는 도메인 차이를 더 크게 만들기 위해, UCF101과 HMDB51 간에 12개의 겹치는 카테고리가 있는 대규모 비디오 DA 데이터셋 UCF-HMDB full과, Kinetics-600와 30개의 겹치는 카테고리가 있는 Kinetics-Gameplay를 새로 도입하여 도메인 차이를 증가시켰다.
• 공간적 특징과 시간적 특징을 동시에 정렬하는 기반 모델인 TA2N을 제안하여, 시간적 동적 특징 정렬이 공간적 특징 정렬보다 성능이 뛰어남을 보였다.
• 도메인 분포의 차이를 기반으로 도메인 분포 인식 주의를 사용하여, 도메인 차이에 기여하는 시간적 동적 특징에 집중하는 학습 가능한 주의 메커니즘을 활용한 TA3N을 개발했다.
• 다중 도메인 구분자와 함께 적대적 훈련을 수행하여 소스 도메인과 타겟 도메인 간의 임bedded 특징 공간을 정렬하였으며, 주의는 도메인 차이에 의해 조절되었다.
• 광학 흐름을 사용하지 않고 RGB 프레임만을 사용하며, 시간적 특징 인코딩을 위해 Temporal Relation(TemRelation) 및 Temporal Pooling(TemPooling) 모듈을 통합했다.
• 도메인 차이에 민감한 주의를 적용하여, 소스 도메인과 타겟 도메인 간의 분산이 더 큰 시간적 특징을 동적으로 가중치를 주어 정렬에 우선순위를 두었다.

실험 결과

연구 질문

• RQ1 공간적 특징이 아닌 시간적 동적 특징을 명시적으로 정렬하는 것으로 효과적인 비디오 도메인 적응을 달성할 수 있는가?
• RQ2 비디오 도메인 적응에서 DA 방법의 선택이 특징 정렬의 선택보다 더 중요한가?
• RQ3 시간적 동적 특징의 도메인 차이가 전체 도메인 이동에 미치는 영향은 무엇이며, 이를 보다 효과적인 정렬에 활용할 수 있는가?
• RQ4 고차이 시간적 특징에 집중하는 학습 가능한 주의 메커니즘이 비디오 도메인 적응 성능 향상에 기여하는가?
• RQ5 UCF-HMDB full과 Kinetics-Gameplay와 같은 대규모 고차이 비디오 DA 데이터셋은 기존의 벤치마크와 비교해 도전성과 현실성 측면에서 어떻게 다른가?

주요 결과

• HMDB→UCF 데이터셋에서 TA3N은 'Source only' 기반 모델 대비 7.9% 정확도 향상을 기록하여, 정확도를 73.9%에서 81.8%로 향상시켰다.
• 더 어려운 Kinetics→Gameplay 데이터셋에서는 'Source only' 대비 10.3%의 정확도 향상을 기록하여 고도의 도메인 차이에 대한 강건성을 입증했다.
• 제안된 UCF-HMDB full과 Kinetics-Gameplay 데이터셋은 기존의 UCF-HMDB small과 같은 기준보다 훨씬 높은 도메인 차이를 보이며, 비디오 DA 방법의 평가에 더 적합함을 입증했다.
• 시간적 동적 특징 정렬(TA2N를 통해)이 공간적 특징 정렬보다 성능이 뛰어나며, 무엇을 정렬할 것인가의 선택이 사용하는 DA 방법의 복잡성보다 더 중요하다는 것을 확인했다.
• 제거 실험 결과, 고차이 시간적 특징에 대한 주의가 더 나은 정렬을 이끌어내며, 모든 데이터셋에서 TA3N이 TA2N 및 비주목 기반 모델을 모두 능가하는 것으로 확인되었다.
• 광학 흐름이나 운동 모델링 없이도 RGB 프레임만을 사용했음에도 불구하고 TA3N은 최신 기술 수준 성능을 달성하여, 시간적 주의가 운동 정보 부족을 효과적으로 보완할 수 있음을 시사한다.