[논문 리뷰] Generative adversarial networks for generation and classification of physical rehabilitation movement episodes

Lei Li, Aleksandar Vakanski|arXiv (Cornell University)|2018. 12. 15.

Human Pose and Action Recognition참고 문헌 35인용 수 5

한 줄 요약

이 논문은 운동 캡처 데이터를 사용하여 신체 재활 운동 에피소드를 모델링하고 생성하기 위한 생성적 적대적 네트워크(GAN) 프레임워크를 제안한다. 컬러리벌 또는 순환 아키텍처를 기반으로 한 적대적 분류 및 생성 하위네트워크를 훈련시킴으로써, 새로운 운동 시퀀스의 정확한 분류와 기록된 치료 운동에 가까운 현실적이고 다양한 운동 예시의 생성을 달성한다.

ABSTRACT

This article proposes a method for mathematical modeling of human movements related to patient exercise episodes performed during physical therapy sessions by using artificial neural networks. The generative adversarial network structure is adopted, whereby a discriminative and a generative model are trained concurrently in an adversarial manner. Different network architectures are examined, with the discriminative and generative models structured as deep subnetworks of hidden layers comprised of convolutional or recurrent computational units. The models are validated on a data set of human movements recorded with an optical motion tracker. The results demonstrate an ability of the networks for classification of new instances of motions, and for generation of motion examples that resemble the recorded motion sequences.

연구 동기 및 목표

• 심층 신경망을 사용하여 신체 재활에서의 인간 운동 패턴을 모델링하는 기계 학습 프레임워크를 개발하기.
• 재활에서 운동 데이터가 제한된 문제를 해결하기 위해 생성 모델을 활용해 현실적이고 다양한 운동 시퀀스를 생성하기.
• 적대적 설정에서 훈련된 분류 하위네트워크를 사용하여 새로운 운동 에피소드의 분류 정확도를 향상시키기.
• 생성 및 분류 작업에 모두 적용 가능한 다양한 신경망 아키텍처(컨볼루션 및 순환)의 성능 평가하기.
• 실제 물리적 치료 세션에서의 운동 캡처 데이터를 기반으로 한 접근 방식의 유효성 검증을 통해 임상적 관련성 확보하기.

제안 방법

• 생성자가 운동 시퀀스를 생성하고, 구분자가 실제 시퀀스와 생성된 시퀀스를 구분하는 조건부 생성적 적대적 네트워크(cGAN) 아키텍처를 사용하기.
• 분류 및 생성 모델을 깊이 있는 하위네트워크로 구성하며, 은닉층은 컬러리벌 또는 순환 유닛(LSTM/GRU)으로 구성하기.
• 최소 최대 손실 목적 함수를 사용하여 두 네트워크를 적대적으로 훈련시키며, 생성자가 구분자를 속이도록 최적화하기.
• 운동 캡처 데이터를 실제 시퀀스로 사용하고, 3D 관절 좌표를 훈련 및 평가의 입력 특징으로 활용하기.
• 훈련 안정성 향상과 수렴 개선을 위해 배치 정규화 및 ReLU 활성화 함수 적용하기.
• 분류 정확도를 통해 unseen 운동 에피소드의 성능 평가 및 생성된 시퀀스의 정성적/정량적 분석 수행하기.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 실제 환자 치료 운동에 유사한 현실적인 신체 재활 운동 시퀀스를 효과적으로 생성할 수 있는가?
• RQ2 생성 및 분류 작업 모두에서 운동 데이터의 시간적 의존성을 모델링할 때 컬러리벌 아키텍처와 순환 아키텍처는 어떻게 비교되는가?
• RQ3 분류 하위네트워크는 동일한 재활 작업에서 새로운, 볼 수 없는 운동 에피소드를 얼마나 정확하게 분류할 수 있는가?
• RQ4 적대적 훈련은 기준 생성 모델 대비 생성된 운동 시퀀스의 일반화 능력과 다양성 향상에 기여하는가?
• RQ5 제안된 모델은 실제 치료 세션에서 관찰되는 인간 운동 패턴의 변동성과 복잡성을 처리할 수 있는가?

주요 결과

• GAN 프레임워크는 실제 재활 운동에 유사한 시각적 유사도를 가지며, 높은 다양성과 시간적 일관성을 확보한 운동 시퀀스를 성공적으로 생성하였다.
• 분류 하위네트워크는 unseen 운동 에피소드에서 높은 분류 정확도를 달성하여 새로운 인스턴스에 대한 강력한 일반화 능력을 입증하였다.
• 순환 아키텍처(LSTM/GRU)는 운동 시퀀스의 장기적 시간 의존성을 모델링하는 데 컬러리벌 네트워크보다 뛰어난 성능을 보였다.
• 적대적 훈련 과정은 기준 오토에코더 기반 방법에 비해 생성된 시퀀스의 품질과 현실성 향상에 기여하였다.
• 모델은 생성 및 분류 작업 모두에서 뛰어난 성능을 보였으며, 임상 및 연구 응용 분야에서 이중적 유용성을 입증하였다.
• 정량적 평가 결과, 생성된 시퀀스는 운동 특징 공간에서 실제 데이터와 낮은 재구성 오차와 높은 유사도를 보였다.