[논문 리뷰] Aligning Correlation Information for Domain Adaptation in Action Recognition

Yuecong Xu, Jianfei Yang외 4명|arXiv (Cornell University)|2021. 07. 11.

Human Pose and Action Recognition참고 문헌 66인용 수 5

한 줄 요약

이 논문은 악성 비디오 조건으로 인한 큰 도메인 이탈 상황에서도 성능을 높이는 데 목적이 있는 Adversarial Correlation Adaptation Network (ACAN)을 제안한다. 이는 픽셀 상관관계 불일치(Pixel Correlation Discrepancy, PCD)를 사용하여 도메인 간 시공간적 상관관계 특징을 정렬함으로써 도메인 적응을 향상시킨다. ACAN은 기존 및 새로 도입된 교차 도메인 비디오 데이터셋(HMDB-ARID)에서 최신 기술(SOTA) 성능을 달성하며, 특히 악성 조건으로 인한 큰 도메인 이탈 상황에서 뚜렷한 정확도 향상을 보였다.

ABSTRACT

Domain adaptation (DA) approaches address domain shift and enable networks to be applied to different scenarios. Although various image DA approaches have been proposed in recent years, there is limited research towards video DA. This is partly due to the complexity in adapting the different modalities of features in videos, which includes the correlation features extracted as long-term dependencies of pixels across spatiotemporal dimensions. The correlation features are highly associated with action classes and proven their effectiveness in accurate video feature extraction through the supervised action recognition task. Yet correlation features of the same action would differ across domains due to domain shift. Therefore we propose a novel Adversarial Correlation Adaptation Network (ACAN) to align action videos by aligning pixel correlations. ACAN aims to minimize the distribution of correlation information, termed as Pixel Correlation Discrepancy (PCD). Additionally, video DA research is also limited by the lack of cross-domain video datasets with larger domain shifts. We, therefore, introduce a novel HMDB-ARID dataset with a larger domain shift caused by a larger statistical difference between domains. This dataset is built in an effort to leverage current datasets for dark video classification. Empirical results demonstrate the state-of-the-art performance of our proposed ACAN for both existing and the new video DA datasets.

연구 동기 및 목표

• 큰 도메인 이탈 상황에서 효과적인 비디오 행동 인식 도메인 적응 방법의 부족을 해결한다.
• 특히 장거리 시공간적 의존성을 캡처하는 상관관계 특징에서 발생하는 도메인 이탈 문제를 극복한다.
• 저조도 및 블러와 같은 악성 조건으로 인해 심한 도메인 이탈이 발생하는 새로운 비디오 데이터셋인 HMDB-ARID를 제안하여 도메인 적응 방법의 평가를 더 잘 수 있도록 한다.
• 원천 도메인과 타겟 도메인 간 상관관계 특징의 분포를 공동으로 정렬함으로써 행동 인식 모델의 전이 가능성 향상.
• 단지 공간적 또는 시간적 특징을 정렬하는 것 외에도 상관관계 특징 정렬이 교차 도메인 비디오 인식에서 상당한 성능 향상으로 이어진다는 것을 입증한다.

제안 방법

• 적대적 훈련을 사용하여 원천 도메인과 타겟 도메인 간 상관관계 특징을 명시적으로 정렬하는 Adversarial Correlation Adaptation Network (ACAN)을 제안한다.
• 도메인 간 동일한 동작의 상관관계 특징 간 분포 차이를 측정하고 최소화하기 위해 새로운 지표인 Pixel Correlation Discrepancy (PCD)를 정의한다.
• PCD를 상관관계 특징 맵(PCM)의 공분산으로 계산하며, 핵심 추정을 사용하여 결합 분포의 차이를 포착한다.
• 계산 비용을 줄이기 위해 PCM의 노름과 공통 스칼라 R 간의 L2 거리를 최소화하는 단순화된 변형인 ACAN (l2-norm)을 도입한다.
• 분류 손실, 공간-시간 특징에 대한 도메인 불일치 손실, PCD 기반 상관관계 정렬 손실을 조합하여 ACAN을 엔드 투 엔드로 훈련한다.
• 비국소 네트워크를 활용하여 시공간 차원을 관통하는 장거리 의존성을 모델링하는 상관관계 특징을 추출한다.

실험 결과

연구 질문

• RQ1 상관관계 특징의 적대적 정렬이 비디오 행동 인식의 도메인 적응 성능 향상에 기여하는가?
• RQ2 Pixel Correlation Discrepancy (PCD)는 다양한 비디오 도메인 간 상관관계 특징의 도메인 이탈을 캡처하고 최소화하는 데 얼마나 효과적인가?
• RQ3 어두운 또는 저품질 비디오를 포함한 도메인 이탈이 큰 데이터셋에서 기존의 도메인 적응 기반 모델에 비해 제안된 ACAN 방법이 더 잘 일반화되는가?
• RQ4 공간적 또는 시간적 특징 정렬만 하는 것과 비교해 상관관계 특징 정렬을 포함했을 때 성능 향상은 얼마나 큰가?
• RQ5 노름 매칭 기반 단순화된 PCD 변형(ACAN l2-norm)은 계산 비용을 줄이면서도 강력한 성능을 유지할 수 있는가?

주요 결과

• ACAN은 UCF→HMDB 및 HMDB→ARID 도메인 적응 벤치마크에서 모두 최신 기술 성능을 달성한다.
• 제거 실험 결과, PCD를 제거하면 UCF→HMDB에서 1.6% 정확도 감소, HMDB→ARID에서 5.4% 감소가 발생하여 PCD의 핵심적 역할을 입증한다.
• ACAN (l2-norm) 변형은 ACAN-Base(비PCD)보다 뚜렷한 성능 향상을 보였지만, 전체 PCD 기반 ACAN에 비해 낮은 성능을 보여, 핵심 기반 PCD의 효과를 검증한다.
• 클래스 활성화 맵(CAM)을 활용한 정성적 분석 결과, ACAN은 기존 기반 모델이 배경이나 전체 인물에 주목하는 데 반해, 어두운 타겟 비디오에서 관련 신체 부위(예: 흔들리는 손)에 집중하는 데 성공했다.
• t-SNE 시각화 결과, ACAN은 원천 및 타겟 도메인의 클러스터가 더 조밀하고 분리 가능하며, 원천과 타겟 데이터 포인트 간의 정렬이 더 우수하다는 것을 확인했다.
• 최근 도입된 HMDB-ARID 데이터셋은 기존 데이터셋보다 더 큰 도메인 이탈을 보이며, 특히 저조도 및 블러와 같은 악성 조건으로 인해 향후 비디오 도메인 적응 연구의 강력한 벤치마크로 기능한다.