[논문 리뷰] IMUTube: Automatic Extraction of Virtual on-body Accelerometry from Video for Human Activity Recognition

Hyeokhyen Kwon, Catherine Tong외 5명|arXiv (Cornell University)|2020. 05. 29.

Context-Aware Activity Recognition Systems참고 문헌 99인용 수 10

한 줄 요약

IMUTube는 컴퓨터 비전과 신호 처리를 활용하여 영상에서 가상의 신체에 부착된 IMU 데이터를 자동으로 생성하는 파이프라인을 제안한다. 이는 대규모, 다양한 종류의 레이블이 부여된 HAR 데이터셋을 가능하게 하며, 유튜브 영상에서 실제 운동 데이터를 합성함으로써 벤치마크 데이터셋에서 HAR 모델 성능을 크게 향상시킨다.

ABSTRACT

The lack of large-scale, labeled data sets impedes progress in developing robust and generalized predictive models for on-body sensor-based human activity recognition (HAR). Labeled data in human activity recognition is scarce and hard to come by, as sensor data collection is expensive, and the annotation is time-consuming and error-prone. To address this problem, we introduce IMUTube, an automated processing pipeline that integrates existing computer vision and signal processing techniques to convert videos of human activity into virtual streams of IMU data. These virtual IMU streams represent accelerometry at a wide variety of locations on the human body. We show how the virtually-generated IMU data improves the performance of a variety of models on known HAR datasets. Our initial results are very promising, but the greater promise of this work lies in a collective approach by the computer vision, signal processing, and activity recognition communities to extend this work in ways that we outline. This should lead to on-body, sensor-based HAR becoming yet another success story in large-dataset breakthroughs in recognition.

연구 동기 및 목표

• 공개된 영상 자료를 활용하여 인간 활동 인식(HAR)에서 대규모, 레이블이 부여된 신체에 부착된 센서 데이터의 부족 문제를 해결한다.
• 모델의 강건성과 일반화 능력을 저해하는 작은 크기이자 일반화 불가능한 HAR 데이터셋의 한계를 극복한다.
• 영상에서 가상의 신체에 부착된 IMU 신호를 자동으로 추출하여 실제 가속도계 신호를 여러 신체 부위에 시뮬레이션하는 프레임워크를 개발한다.
• 실제 센서 데이터 수집이 필요 없이 더 큰 규모와 더 다양한 종류의 훈련 데이터를 생성할 수 있도록 한다.
• 비용이 많이 들고 시간이 오래 걸리는 실제 센서 데이터 수집에 대한 대체 방법으로서, 향후 HAR 연구를 촉진한다.

제안 방법

• 운동 데이터의 주요 입력 원천으로 유튜브와 같은 대규모 영상 자료 저장소를 활용한다.
• 영상 프레임에서 关절 키포인트 궤적을 추출하기 위해 2차원 자세 추정(예: MediaPipe Pose)을 적용한다.
• 기하학적 및 시간적 모델링을 통해 2차원 관절 궤적을 3차원 신체 운동학으로 변환하여 신체 부위의 운동을 추론한다.
• 신호 처리 기법을 적용하여 가상의 신체에 부착된 센서 위치에서 실제적인 3차원 가속도 신호를 합성한다.
• 가상의 IMU 데이터가 실제 센서 분포와 일치하도록 데이터 증강 및 정규화를 구현한다.
• 가상의 IMU 데이터를 표준 HAR 훈련 파이프라인에 통합하여 실제 데이터셋에서의 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 영상에서 생성된 가상의 IMU 데이터가 HAR 작업에서 실제 IMU 데이터와 비교하여 유사한 성능을 달성할 수 있는가?
• RQ2 영상 데이터에 포함된 운동의 다양성이 실제 세계 데이터셋에 비해 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ3 가상의 IMU 신호가 실제 가속도계 신호의 시간적 및 공간적 특성을 얼마나 잘 유지하는가?
• RQ4 가상 데이터 생성 파이프라인이 자동화되고 대규모 HAR 연구를 지원하기 위해 확장 가능한가?
• RQ5 가상 데이터와 실제 데이터를 조합했을 때 HAR 모델의 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• IMUTube는 실제 IMU 신호에 높은 정밀도로 영상에서 가상의 신체에 부착된 가속도계 데이터를 성공적으로 생성한다.
• 가상의 IMU 데이터는 표준 벤치마크 데이터셋에서 HAR 모델의 정확도를 향상시켜 훈련에 실용적인 유용성을 입증한다.
• 공개된 영상 자료에서 대규모, 다양한 종류의 데이터셋을 생성할 수 있도록 데이터 부족 문제를 해결한다.
• 실제 데이터 없이도 가상 데이터로만 훈련된 모델이 의미 있는 성능 향상을 보이며, 특히 실제 데이터와 조합했을 때 성능 향상이 두드러진다.
• 영상 품질, 카메라 각도, 피험자 외형의 변화에 대해 프레임워크가 강건하여 실용적인 확장성을 보인다.
• 비용이 많이 들고 시간이 오래 걸리는 실제 데이터 수집에 의존도를 줄이며, 데이터 효율적인 HAR 연구의 새로운 길을 열어준다.