[논문 리뷰] A Deep Recurrent Framework for Cleaning Motion Capture Data

Utkarsh Mall, Gend Lal외 2명|arXiv (Cornell University)|2017. 12. 09.

Human Motion and Animation참고 문헌 19인용 수 33

한 줄 요약

이 논문은 시간적 일관성과 상하좌우 관절 간 상관관계를 이용해 관절별로 적응적인 필터를 학습함으로써 움직임 캡처 데이터를 자동으로 노이즈 제거하는 딥 양방향 LSTM 프레임워크인 EBF (Encoder-Bidirectional-Filter)를 제안한다. 또한 EBD (Encoder-Bidirectional-Decoder) 네트워크와 결합하여 장기간의 결손을 복원함으로써, 노이즈 분포나 동작 유형에 대한 사전 지식 없이도 노이즈가 있는 및 완전하지 않은 운동 데이터에서 최신 기술 성능을 달성한다.

ABSTRACT

We present a deep, bidirectional, recurrent framework for cleaning noisy and incomplete motion capture data. It exploits temporal coherence and joint correlations to infer adaptive filters for each joint in each frame. A single model can be trained to denoise a heterogeneous mix of action types, under substantial amounts of noise. A signal that has both noise and gaps is preprocessed with a second bidirectional network that synthesizes missing frames from surrounding context. The approach handles a wide variety of noise types and long gaps, does not rely on knowledge of the noise distribution, and operates in a streaming setting. We validate our approach through extensive evaluations on noise both in joint angles and in joint positions, and show that it improves upon various alternatives.

연구 동기 및 목표

• 노이즈 분포나 동작 유형에 대한 사전 지식 없이 다양한 노이즈 유형과 결손 데이터로 오염된 운동 캡처 데이터를 정제하는 과제를 해결하기 위해.
• 다양한 운동 유형과 관절 역학에 적응할 수 있는 실시간 스트리밍 호환 솔루션을 개발하기 위해.
• 맥락적인 시간적 및 관절 상관관계 모델링을 통해 장기간의 결손 세그먼트를 견고하게 복원하기 위해.
• 이질적인 운동 유형과 노이즈 패턴에 일반화할 수 있는 통합형, 훈련 가능한 프레임워크를 만들기 위해.
• 운동 데이터 정제 파ip라인에서 수동 튜닝이나 동작별 전처리가 필요 없도록 하기 위해.

제안 방법

• 시간적 맥락과 상하좌우 관절 간 상관관계를 기반으로 각 프레임에 대해 관절별로 적응적인 저역통과 필터를 예측하는 양방향 LSTM 기반의 EBF 네트워크를 사용한다.
• 운동 단계와 주파수를 동적으로 모델링하는 인코더-BiLSTM-필터 아키텍처를 활용하여 과도하거나 과소 스무딩을 방지한다.
• 명시적인 노이즈 모델링 없이도 비영점 평균과 시간에 따라 변하는 노이즈를 처리할 수 있도록 탈중립화 구성 요소를 도입한다.
• 주변 맥락과 학습된 관절 역학을 사용하여 결손된 운동 프레임을 합성하기 위해 두 번째 EBD 네트워크(ERD의 양방향 변형)를 적용한다.
• 노이즈 있는/정제된 운동 데이터 쌍을 사용하여 EBF와 EBD 네트워크를 지도 학습 방식으로 훈련함으로써 노이즈 제거와 결손 복원을 종합적으로 학습할 수 있도록 한다.
• 최소 지연 시간(<1 ms/프레임)으로 데이터를 스트리밍 방식으로 처리하여 실시간 적용이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 수동 튜닝 없이 다양한 운동 유형과 노이즈 분포에 일반화할 수 있는 단일 딥 순환 모델이 가능한가?
• RQ2 양방향 LSTM이 다양한 역학적 특성과 높은 노이즈 수준을 가진 운동 데이터에 대해 적응형 필터링을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 주변 맥락만을 사용하여 5초까지의 장기간 결손을 깊이 학습 모델이 얼마나 잘 복원할 수 있는가?
• RQ4 EBD를 통한 결손 복원과 EBF를 통한 노이즈 제거의 조합이 보통의 기준 모델(예: 보간 + 필터링)보다 우수한가?
• RQ5 다양한 혼합 데이터로 훈련된 모델이 훈련 데이터에 포함되지 않은 새로운 운동 유형과 노이즈 패턴에도 일반화 가능한가?

주요 결과

• EBF+EBD 파이프라인은 모든 테스트 운동에서 RMS 오차 측면에서 모든 기준 모델을 압도하며, 특히 장기간의 결손(최대 600 프레임)에서 뛰어난 성능을 보였다.
• EBD 네트워크는 최대 5초까지의 결손된 운동 시퀀스를 성공적으로 복원했으며, 보간 기반 방법은 완전히 실패하였다.
• EBF 네트워크는 고진폭, 비정규 분포, 비영점 평균 노이즈를 효과적으로 정제했으며, 각 운동 유형당 최소한의 훈련 데이터로도 성능을 유지했다.
• 모델은 1 프레임당 1ms 미만의 처리 시간으로 실시간으로 작동하여 운동 데이터 스트리밍을 위한 실시간 적용이 가능했다.
• 다양한 동작 유형으로 구성된 혼합 데이터로 훈련된 모델은 '점프'나 '달리기'와 같은 새로운 운동 유형에도 일반화되었으며, 도메인 내 예시가 더 많을수록 성능이 향상되었다.
• 합성 노이즈와 결손이 포함된 새로운 벤치마크 데이터셋에서 최신 기술 성능을 달성하여, 다양한 노이즈 및 결손 분포에 대한 강건성을 입증했다.