[논문 리뷰] PM-GANs: Discriminative Representation Learning for Action Recognition Using Partial-modalities

Lan Wang, Chenqiang Gao외 4명|arXiv (Cornell University)|2018. 04. 17.

Human Pose and Action Recognition참고 문헌 40인용 수 7

한 줄 요약

이 논문은 부분적 모odalities(특히 적외선 입력에서 가시광선 특징을 생성함)를 사용하여 행동 인식을 위한 분류 가능한 전모달 표현을 학습하는 새로운 생성적 적대적 신경망인 PM-GANs를 제안한다. 새로운 공개적 적외선-가시광선 행동 데이터셋에서 78%의 정확도를 달성하여 네 가지 최신 기법을 능가한다.

ABSTRACT

Data of different modalities generally convey complimentary but heterogeneous information, and a more discriminative representation is often preferred by combining multiple data modalities like the RGB and infrared features. However in reality, obtaining both data channels is challenging due to many limitations. For example, the RGB surveillance cameras are often restricted from private spaces, which is in conflict with the need of abnormal activity detection for personal security. As a result, using partial data channels to build a full representation of multi-modalities is clearly desired. In this paper, we propose a novel Partial-modal Generative Adversarial Networks (PM-GANs) that learns a full-modal representation using data from only partial modalities. The full representation is achieved by a generated representation in place of the missing data channel. Extensive experiments are conducted to verify the performance of our proposed method on action recognition, compared with four state-of-the-art methods. Meanwhile, a new Infrared-Visible Dataset for action recognition is introduced, and will be the first publicly available action dataset that contains paired infrared and visible spectrum.

연구 동기 및 목표

• 사생활 또는 환경적 제약으로 인해 유일하게 이용 가능한 모달리티(예: 적외선)일 경우 행동 인식의 과제를 해결하기 위해.
• 다른 모달리티(예: 적외선과 가시광선) 간의 이종적 표현을 학습하여 누락된 데이터 특징을 복원하기 위해.
• 부분 입력 모달리티만을 사용하여 분류 가능한 전모달 표현을 구성하여 행동 인식 성능을 향상시키기 위해.
• 행동 인식을 위한 첫 공개된 짝지어진 적외선 및 가시광선 영상 데이터셋을 제공하기 위해.

제안 방법

• 조건부 생성적 적대적 신경망(cGAN)을 학습하여 적외선 특징을 합성된 가시광선 스펙트럼 특징으로 변환한다.
• 진짜 가시광선 특징과 생성된 특징를 구별하는 판별자(discriminator)를 사용하여 현실적인 특징 분포를 강제한다.
• 생성된 가시광선 특징과 실제 적외선 특징을 결합하여 분류를 위한 전모달 표현을 구성한다.
• 생성된 특징과 행동 분류를 동시에 최적화하는 적대적 학습을 사용하는 분류 예측 헤드(discriminative predictor head)를 활용한다.
• 두 단계 학습 전략을 적용: 먼저 재구성 손실을 사용해 생성자(generator)를 사전 학습하고, 이후 생성자와 판별자를 함께 미세조정한다.
• 분류 이전에 적외선 및 생성된 가시광선 특징을 연결하는 융합 전략을 적용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델이 행동 인식에서 단일 가용 모달리티(예: 적외선)로부터 누락된 모달리티(예: 가시광선) 특징을 효과적으로 복원할 수 있는가?
• RQ2 환경 조건의 변화(예: 계절 변화)에 걸쳐 생성된 표현이 얼마나 잘 일반화되는가?
• RQ3 추론 시 부분적 모달리티만 이용할 경우 제안된 PM-GANs 프레임워크가 최신 기법을 능가하는가?
• RQ4 어떻게 적대적 학습이 불완전한 데이터에서 유도된 전모달 표현의 분류 능력을 향상시키는가?

주요 결과

• PM-GANs는 제안된 적외선-가시광선 데이터셋에서 78%의 행동 인식 정확도를 달성하여 네 가지 최신 기법을 능가했다.
• 생성된 RGB 특징은 실존하는 적외선 특징만을 사용한 경우(74.17% 정확도)보다 성능이 뛰어나 효과적인 모달리티 전이를 입증했다.
• 별도의 겨울 계절 데이터셋에서 테스트한 결과, 오직 적외선 및 생성된 RGB 특징만을 사용해도 80.28%의 정확도를 기록하여 뛰어난 일반화 능력을 보였다.
• 혼동 행렬을 분석한 결과, '펀치'와 '푸시'와 같은 유사 행동이 자주 오분류되었으며, 이는 미세한 행동 구분의 과제를 시사했다.
• 이중 스트림 3D-CNN 기반 모델은 74.67%의 정확도를 기록했고, PM-GANs는 78%의 최고 정확도를 달성하여 그 우월성을 확인했다.
• 제안된 방법은 실존하는 가시광선 데이터 없이도 유일한 모달리티만으로도 전모달 표현 학습을 가능하게 하여 효과적임을 입증했다.