[논문 리뷰] Learning and Refining of Privileged Information-based RNNs for Action Recognition from Depth Sequences

Zhiyuan Shi, Tae‐Kyun Kim|arXiv (Cornell University)|2017. 03. 28.

Human Pose and Action Recognition참고 문헌 46인용 수 8

한 줄 요약

이 논문은 깊이 시퀀스에서 동작 인식을 위한 프라이버ileged 정보 기반 RNN(이하 PRNN)을 제안한다. 학습 시 히어라키컬한 뼈대 관절 정보를 활용하여 특징 학습과 일반화 능력을 향상시킨다. 본 방법는 세 단계 과정을 거친다: 깊이 및 PI를 이용한 사전 학습, PI를 보조 과제로 활용하는 다중 과제 학습, 잠재적 PI와 분류 출력을 정렬하기 위한 다리 역할 매트릭스를 통한 보완. 다양한 벤치마크, 포함하여 새로운 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 순수 CNN-RNN 대비 최대 15.7% 향상된 성능을 기록한다.

ABSTRACT

Existing RNN-based approaches for action recognition from depth sequences require either skeleton joints or hand-crafted depth features as inputs. An end-to-end manner, mapping from raw depth maps to action classes, is non-trivial to design due to the fact that: 1) single channel map lacks texture thus weakens the discriminative power; 2) relatively small set of depth training data. To address these challenges, we propose to learn an RNN driven by privileged information (PI) in three-steps: An encoder is pre-trained to learn a joint embedding of depth appearance and PI (i.e. skeleton joints). The learned embedding layers are then tuned in the learning step, aiming to optimize the network by exploiting PI in a form of multi-task loss. However, exploiting PI as a secondary task provides little help to improve the performance of a primary task (i.e. classification) due to the gap between them. Finally, a bridging matrix is defined to connect two tasks by discovering latent PI in the refining step. Our PI-based classification loss maintains a consistency between latent PI and predicted distribution. The latent PI and network are iteratively estimated and updated in an expectation-maximization procedure. The proposed learning process provides greater discriminative power to model subtle depth difference, while helping avoid overfitting the scarcer training data. Our experiments show significant performance gains over state-of-the-art methods on three public benchmark datasets and our newly collected Blanket dataset.

연구 동기 및 목표

• 단일 채널 깊이 맵이 동작 인식에 한계를 보이는 문제를 해결하기 위해.
• 학습 중 프라이버ileged 정보(PI)를 활용하여 소규모 깊이 데이터셋에서 과적합을 완화하기 위해.
• 추론 시 뼈대 추적을 필요로 하지 않고 원시 깊이 맵으로부터 종단간(end-to-end) 학습을 가능하게 하기 위해.
• 반복적 보완을 통해 외관 기반 특징과 뼈대 기반 PI 간의 도메인 갭을 해소하기 위해.
• 깊이 기반 동작 인식 벤치마크에서 모델의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 깊이 시퀀스와 뼈대 관절을 입력으로 사용하여 CNN-RNN 인코더를 사전 학습함으로써 외관과 PI의 공동 임베딩을 학습한다.
• 주 과제인 분류에 대한 교차 엔트로피 손실과 보조 과제인 예측된 뼈대 관절에 대한 회귀 손실을 조합한 다중 과제 손실을 사용하여 인코더를 미세 조정한다.
• 잠재적 PI와 분류 출력을 정렬하기 위해 보완 단계에서 다리 역할 매트릭스를 도입한다.
• PI 기반 분류 손실을 통해 잠재적 PI와 예측된 클래스 분포 간의 일致성을 강제하여 분포 위반을 방지한다.
• 기대값 최대화(EM) 절차를 통해 다리 역할 매트릭스, 잠재적 PI, 네트워크 파라미터를 함께 최적화한다.
• 최종 모델은 뼈대 추적 없이 깊이 맵만을 사용하여 추론을 수행함으로써 실시간 뼈대 추적의 필요성을 제거한다.

실험 결과

연구 질문

• RQ1 학습 중에 프라이버ileged 정보(뼈대 관절)를 효과적으로 활용하여 깊이 시퀀스에서의 동작 인식 성능을 향상시킬 수 있는가?
• RQ2 다중 과제 학습에서 PI를 보조 과제로 활용하면 주 분류 과제의 성능 향상이 뚜렷한가?
• RQ3 잠재적 PI를 탐색하는 다리 역할 매트릭스가 외관 표현과 뼈대 표현 간의 도메인 갭을 해소할 수 있는가?
• RQ4 반복적인 EM 기반 보완 절차는 소규모 깊이 데이터셋에서 모델의 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ5 제안된 방법은 종단간 학습과 실시간 추론을 유지하면서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 PRNN 모델은 Action3D에서 94.9%의 정확도를 기록하여 기존의 순수 CNN-RNN(87.3%)보다 7.6%포인트 높은 성능을 달성한다.
• SBU 데이터셋에서는 89.2%의 정확도를 기록하여 베이스라인 대비 10.0%포인트 향상된 성능을 기록한다.
• CAD60에서는 87.6%의 정확도를 기록하여 기존 CNN-RNN 대비 6.1%포인트 향상된 성능을 기록한다.
• 새로 수집한 Blanket 데이터셋에서는 53.5%의 정확도를 기록하여 기존 베이스라인 대비 15.7%포인트 향상된 성능을 기록한다.
• 제거 실험 결과, 사전 학습, 다중 과제 학습, 잠재적 PI를 통한 보완 단계에서 각각의 구성 요소가 성능 향상에 기여하고 있음을 확인하였다.
• 단일 GPU에서 약 38 FPS의 실시간 추론 성능을 기록하여, 세 단계 학습 과정을 거쳐도 계산 효율성이 뛰어나다는 것을 입증한다.