[논문 리뷰] Why Can't I Dance in the Mall? Learning to Mitigate Scene Bias in Action Recognition

Jinwoo Choi, Chen Gao외 2명|arXiv (Cornell University)|2019. 12. 11.

Human Pose and Action Recognition인용 수 99

한 줄 요약

본 논문은 scene-adversarial loss와 human-masked entropy loss를 사용하여 영상 동작 인식에서 장면 편향을 완화하는 비편향화 프레임워크를 도입하고, 분류, 로컬라이제이션 및 탐지 과제로의 전이 성능을 향상시킨다.

ABSTRACT

Human activities often occur in specific scene contexts, e.g., playing basketball on a basketball court. Training a model using existing video datasets thus inevitably captures and leverages such bias (instead of using the actual discriminative cues). The learned representation may not generalize well to new action classes or different tasks. In this paper, we propose to mitigate scene bias for video representation learning. Specifically, we augment the standard cross-entropy loss for action classification with 1) an adversarial loss for scene types and 2) a human mask confusion loss for videos where the human actors are masked out. These two losses encourage learning representations that are unable to predict the scene types and the correct actions when there is no evidence. We validate the effectiveness of our method by transferring our pre-trained model to three different tasks, including action classification, temporal localization, and spatio-temporal action detection. Our results show consistent improvement over the baseline model without debiasing.

연구 동기 및 목표

• 액션 인식 데이터셋에서 장면 표현 편향을 유도하고 정량화한다.
• 장면 불변 특성 학습을 위한 debiasing 학습 목표를 제안한다.
• 다양한 동작 이해 과제에 대한 전이 학습을 통해 더 나은 일반화를 가능하게 한다.
• 액션 분류, 시간적 로컬라이제이션, 시공간 탐지 전반에 걸쳐 debiasing 방법을 평가한다.

제안 방법

• 액션 라벨에 대한 표준 교차 엔트로피 손실로 Mini-Kinetics-200에서 CNN을 사전 학습한다.
• 특징 추출기 위에 장면 분류기를 두고 scene adversarial loss를 추가하여 장면 불변 특징을 학습한다.
• 동영상에서 사람을 마스킹하고 해당 동영상에서 예측된 동작의 엔트로피를 최대화하여 인간 마스크 혼동 손실을 추가한다.
• 경사 역전 계층(gradient reversal layer)을 사용하여 scene-adversarial objective를 대립 학습 방식으로 학습한다.
• 학습 중에 오프더셸프 검출기를 사용하여 사람을 마스킹하고 그 픽셀을 프레임 평균 값으로 대체한다.
• 액션 분류, 로컬라이제이션 및 탐지를 위한 다운스트림 작업에서 debiased 표현을 미세조정한다.

실험 결과

연구 질문

• RQ1 제안된 debiasing이 비디오 데이터셋의 장면 표현 편향을 감소시키는가?
• RQ2 편향 제거된 표현이 사전 학습 데이터 외의 보이지 않는 액션 클래스 및 과제로 더 잘 전이되는가?
• RQ3 제안된 두 가지 debiasing 손실이 일반화에 미치는 영향은 무엇인가?
• RQ4 다른 의사 장면(pseudo-scene) 레이블이 debiasing 효과에 어떻게 영향을 미치는가?

주요 결과

• Debiasing은 장면 의존 특징을 감소시키며, Mini-Kinetics-200 검증에서 장면 분류기 정확도가 29.7%에서 2.9%로 떨어진 것으로 입증된다.
• Debiased pre-training은 HMDB-51, UCF-101, 및 Diving48에서 액션 분류에 대한 전이 성능을 일관되게 향상시킨다.
• Debiasing은 THUMOS-14에서 시간적 동작 로컬라이제이션과 JHMDB에서 시공간 동작 탐지도 향상시킨다.
• soft pseudo scene labels를 사용하면 scene-adversarial training에서 hard labels보다 우수하다.
• LAdv와 LEnt 모두 이득에 기여하며, 둘 다를 사용할 때 최상의 결과를 얻는다.