[논문 리뷰] Learning Bodily and Temporal Attention in Protective Movement Behavior Detection

Chongyang Wang, Min Peng외 4명|arXiv (Cornell University)|2019. 04. 24.

Emotion and Mood Recognition참고 문헌 37인용 수 6

한 줄 요약

이 논문은 만성 통증을 가진 환자에서 보호 행동을 탐지하는 데 성능을 향상시키기 위해 신체적 및 시간적 주의를 동시에 학습하는 엔드 투 엔드 딥 러닝 모델인 BodyAttentionNet(BANet)을 제안한다. 운동 캡처 데이터에서 가장 정보가 많은 신체 부위와 시간 세그먼트에 집중함으로써 BANet는 이전 방법들보다 훨씬 적은 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For people with chronic pain, the assessment of protective behavior during physical functioning is essential to understand their subjective pain-related experiences (e.g., fear and anxiety toward pain and injury) and how they deal with such experiences (avoidance or reliance on specific body joints), with the ultimate goal of guiding intervention. Advances in deep learning (DL) can enable the development of such intervention. Using the EmoPain MoCap dataset, we investigate how attention-based DL architectures can be used to improve the detection of protective behavior by capturing the most informative temporal and body configurational cues characterizing specific movements and the strategies used to perform them. We propose an end-to-end deep learning architecture named BodyAttentionNet (BANet). BANet is designed to learn temporal and bodily parts that are more informative to the detection of protective behavior. The approach addresses the variety of ways people execute a movement (including healthy people) independently of the type of movement analyzed. Through extensive comparison experiments with other state-of-the-art machine learning techniques used with motion capture data, we show statistically significant improvements achieved by using these attention mechanisms. In addition, the BANet architecture requires a much lower number of parameters than the state of the art for comparable if not higher performances.

연구 동기 및 목표

• 만성 통증을 가진 환자에서 보호 행동을 탐지하기 위해 딥 러닝을 활용한다.
• 운동 데이터에서 가장 정보가 많은 단서를 식별하기 위해 공간(신체 부위) 및 시간(시간 세그먼트) 주의를 동시에 모델링한다.
• 기존 최신 기술 수준의 모델보다 파라미터 수가 적은 가벼운 아키텍처를 개발하여 높은 성능을 달성한다.
• 피로 및 관절 의존성과 같은 통증 관련 행동을 더 해석 가능하고 개인화된 방식으로 평가할 수 있도록 한다.
• EmoPain MoCap 데이터셋을 사용하여 모델을 평가하며, 건강한 인구와 만성 통증 환자 간의 다양한 운동 실행 전략을 캡처한다.

제안 방법

• BANet는 운동 시퀀스의 신체 관절에 대한 공간 주의와 시간 단계에 대한 시간 주의를 위한 이중 브랜치 주의 메커니즘을 사용한다.
• 모델은 1D-CNN 기반 아키텍처를 사용하여 3D 운동 캡처 시퀀스를 처리하여 스파티오-temporal 특징을 추출한 후 주의 모듈을 적용한다.
• 공간 주의는 보호 행동 예측에 있어 각 신체 관절의 중요도를 가중치화하기 위해 적용된다.
• 시간 주의는 보호 전략이 나타나는 중요한 운동 단계를 식별하기 위해 시간 단계에 걸쳐 적용된다.
• 주의 가중치는 역전파를 통해 엔드 투 엔드로 학습되며, 이로써 네트워크는 관련 있는 신체 부위와 시간 간격에 집중할 수 있다.
• 최종 예측은 주의 특징에 대한 분류 헤드를 사용하여 이루어지며, 손실은 교차 엔트로피를 최적화하여 조정된다.

실험 결과

연구 질문

• RQ1 운동 캡처 데이터에서 통합된 공간적 및 시간적 주의가 보호 행동 탐지 성능을 향상시킬 수 있는가?
• RQ2 주의 메커니즘이 운동 수행 중 가장 정보가 많은 신체 부위와 시간 세그먼트를 식별하는 데 어떻게 기여하는가?
• RQ3 제안된 BANet 아키텍처가 기존 최신 기술 수준의 모델보다 파라미터 수가 적은데도 더 높은 성능을 달성하는가?
• RQ4 모델은 다양한 운동 유형과 개인의 운동 전략 간에서 얼마나 잘 일반화되는가?
• RQ5 주의 메커니즘이 피로나 관절 의존성과 같은 통증 관련 행동에 대해 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• BANet는 EmoPain MoCap 데이터셋에서 여러 최신 기술 수준의 머신 러닝 모델과 비교해 보호 행동 탐지 정확도에서 통계적으로 유의미한 향상을 보였다.
• 기존 최신 기술 수준의 아키텍처보다 파라미터 수가 현저히 적은 것으로 나타나 높은 효율성을 입증했다.
• 주의 시각화 결과 모델이 임상적으로 관련성이 있는 신체 부위(예: 하지 등, 무릎)와 보호 전략과 관련된 중요한 운동 단계에 일관되게 집중하고 있음을 확인했다.
• 공간 주의와 시간 주의를 동시에 모델링하는 통합 주의 메커니즘이 공간 주의 또는 시간 주의만 사용하는 모델보다 우수한 성능을 보여, 양차원 주의 모델링의 유용성을 확인했다.
• 모델은 수행 중인 특정 작업에 관계없이 다양한 운동 유형과 개인의 운동 전략 간에서 잘 일반화되었으며, 뛰어난 일반화 능력을 보였다.
• 코드와 학습된 모델은 공개되어 있어 재현성과 통증 행동 분석 분야의 향후 연구를 지원한다.