[논문 리뷰] DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks

Unaiza Ahsan|arXiv (Cornell University)|2018. 01. 22.

Human Pose and Action Recognition참고 문헌 43인용 수 23

한 줄 요약

이 논문은 사전 훈련된 DCGAN 생성자 기반 특징 추출기인 DiscrimNet을 제안한다. 이는 비지도 학습 기반의 비디오 행동 인식 프레임워크로서, 운동 인코딩이나 약한 감독 없이도 외관 특징만을 사용하여 UCF101(50.12% 정확도)과 HMDB51(21.0% 정확도)에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 이는 GAN 기반의 비지도 사전 훈련이 비디오 표현 학습에 효과적임을 보여준다.

ABSTRACT

We propose an action recognition framework using Gen- erative Adversarial Networks. Our model involves train- ing a deep convolutional generative adversarial network (DCGAN) using a large video activity dataset without la- bel information. Then we use the trained discriminator from the GAN model as an unsupervised pre-training step and fine-tune the trained discriminator model on a labeled dataset to recognize human activities. We determine good network architectural and hyperparameter settings for us- ing the discriminator from DCGAN as a trained model to learn useful representations for action recognition. Our semi-supervised framework using only appearance infor- mation achieves superior or comparable performance to the current state-of-the-art semi-supervised action recog- nition methods on two challenging video activity datasets: UCF101 and HMDB51.

연구 동기 및 목표

• 행동 인식에서 레이블이 부족한 비디오 데이터 문제를 해결하기 위해 대규모 레이블이 없는 비디오 데이터셋을 활용한다.
• 레이블이 없는 비디오에서 사전 훈련된 GAN 생성자 기반 특징 추출기가 행동 인식에 효과적인지 조사한다.
• 비디오 행동 인식에서 수동적 특징 엔지니어링, 프레임 인코딩, 또는 복잡한 샘플링 전략의 필요성을 제거한다.
• 표준 벤치마크에서 외관 중심의 비지도 사전 훈련 성능을 최신 기술 수준의 비지도 학습 방법과 비교한다.
• GAN 기반 사전 훈련이 시간적 일관성 감독 없이도 강력한 도메인 일반화 및 표현 학습을 가능하게 함을 보여준다.

제안 방법

• 대규모 레이블이 없는 비디오 데이터셋에서 딥 컨volution 신경망(GAN)을 훈련시켜 실제 비디오 프레임과 생성된 프레임을 구분하는 생성자 기반 분류기를 학습한다.
• 사전 훈련된 생성자를 고정된 특징 추출기로 사용하며, 행동 인식을 위한 네트워크를 생성자가 학습한 가중치로 초기화한다.
• 교차 엔트로피 손실을 사용하여 소량의 레이블 데이터셋(UCF101 또는 HMDB51)에서 생성자 헤드를 미세 조정한다.
• 다양한 층(예: CONV4, CONV5)에서 추출한 특징을 사용하여 선형 SVM으로 성능을 평가하거나, 엔드 투 엔드 미세 조정을 수행한다.
• 시간 순서 예측, 운동 인코딩 또는 시퀀스 검증에 의존하는 여러 최신 기술 수준의 비지도 학습 방법과 비교한다.
• 광학 흐름, 운동 인코딩, 또는 시간적 일관성 제약 조건 없이 RGB 프레임 외관만을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 비디오에서 사전 훈련된 GAN 생성자가 레이블 없이도 행동 인식에 유용한 비디오 표현을 학습할 수 있는가?
• RQ2 GAN 생성자 기반 외관 중심의 비지도 사전 훈련이 시간 순서나 운동 신호에 의존하는 최신 기술 수준의 비지도 학습 방법보다 우월하거나 경쟁 가능한가?
• RQ3 사전 훈련 중에 HMDB51 데이터를 사용하지 않았음에도 불구하고, 사전 훈련된 생성자가 HMDB51에서 행동을 인식하는 데 일반화 가능한가?
• RQ4 네트워크 아키텍처와 하이퍼파rameter 선택이 GAN 기반 사전 훈련의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 제안된 방법이 행동 표현 학습에서 약한 감독(예: 프레임 순서, 운동 일관성)의 필요성을 제거하는가?

주요 결과

• DiscrimNet은 선형 SVM를 사용하여 CONV4와 CONV5 특징을 조합함으로써 UCF101에서 50.12%의 상위-1 정확도를 달성하였으며, O3N(60.3%)과 OPN(56.3%)과 같은 최신 기술 수준의 방법들보다도 외관 특징만을 사용한 경우에 앞서는 성능을 보였다.
• HMDB51에서는 미세 조정 후 21.0%의 정확도를 기록하였으며, 사전 훈련 시 HMDB51 데이터를 전혀 사용하지 않았음에도 불구하고, 비교된 모든 비지도 학습 방법보다 뛰어난 성능을 보였다.
• 비지도 사전 훈련 단계는 성능 향상에 크게 기여한다: DiscrimNet 초기화 모델에서 미세 조정한 결과 UCF101에서 49.30%의 정확도를 달성한 반면, Xavier 초기화에서는 단지 33.10%에 그쳤다.
• 운동 인코딩, 시간 순서 모델링, 또는 약한 감독 없이도 외관과 적대적 훈련에만 의존하여 경쟁 가능한 성능을 달성한다.
• 대규모 레이블이 없는 비디오 데이터에서 사전 훈련된 GAN 생성자는 강력하고 일반화 가능한 표현을 학습하며, 후속 행동 인식 작업으로 잘 전이된다.
• 사전 훈련된 모델은 도메인 적응 능력이 뛰어나, 사전 훈련 시 HMDB51 데이터를 전혀 사용하지 않았음에도 불구하고 효과적으로 HMDB51에 일반화됨을 보였다.