[논문 리뷰] Augmenting Vision-Based Human Pose Estimation with Rotation Matrix

Milad Vazan, Fatemeh Sadat Masoumi외 2명|arXiv (Cornell University)|2023. 10. 09.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

이 논문은 체육 활동 분류를 위한 시각 기반 인간 자세 추정의 정확도를 향상시키기 위해 회전 행렬 기반 데이터 증강 기법을 제안한다. 단일 카메라 입력에서 회전 행렬을 사용해 360° 시야 변형을 생성함으로써 자세 데이터의 다양성을 높이며, SVM-SGD에서 96%의 정확도를 달성한다. 이는 증강 없이 기준 성능 64%보다 뚜렷하게 높은 성능이다.

ABSTRACT

Fitness applications are commonly used to monitor activities within the gym, but they often fail to automatically track indoor activities inside the gym. This study proposes a model that utilizes pose estimation combined with a novel data augmentation method, i.e., rotation matrix. We aim to enhance the classification accuracy of activity recognition based on pose estimation data. Through our experiments, we experiment with different classification algorithms along with image augmentation approaches. Our findings demonstrate that the SVM with SGD optimization, using data augmentation with the Rotation Matrix, yields the most accurate results, achieving a 96% accuracy rate in classifying five physical activities. Conversely, without implementing the data augmentation techniques, the baseline accuracy remains at a modest 64%.

연구 동기 및 목표

• 체육 응용 분야의 시각 기반 인간 활동 인식(HAR)에서 제한적이고 단일 시점 레이블이 부여된 데이터 문제를 해결한다.
• 고정된 카메라 각도와 다중 시점 학습 샘플의 부족으로 인한 자세 추정의 모호성을 해소한다.
• 비디오 스트림에서 유도된 자세 관건 데이터를 활용해 신체 활동의 분류 정확도를 향상시킨다.
• 자세 추정 특징에 대한 회전 행렬 기반 데이터 증강의 효과를 평가한다.
• 다중 클래스 체육 활동 인식에 최적의 자세 추정 모델, 데이터 증강 기법, 분류기 조합을 규명한다.

제안 방법

• 단일 시점 영상 프레임에서 정확한 2D 인간 관건 검출을 위해 BlazePose를 활용한다.
• 각 원본 자세에서 180° 시계 및 반시계 방향으로의 합성 학습 샘플을 생성하기 위해 회전 행렬 변환을 적용한다.
• 회전 행렬을 사용해 다양한 카메라 시점 효과를 시뮬레이션함으로써 추가적인 데이터 수집 없이도 데이터 변동성을 증가시킨다.
• 증강된 및 비증강된 자세 관건 데이터에 대해 여러 기계 학습 분류기(SVM-SGD, 로지스틱 회귀, KNN 등)를 학습하고 비교한다.
• 분류 정확도 향상을 위해 중복되거나 노이즈가 많은 관건 특징(예: 오른쪽 어깨)을 선택적으로 제거함으로써 모델 성능을 최적화한다.
• 제한적이지만 대표적인 체육관 운동 데이터셋을 기반으로 5개 클래스의 신체 활동 분류를 수행하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 회전 행렬 기반 데이터 증강은 자세 기반 인간 활동 인식 모델의 일반화 능력과 정확도를 향상시킬 수 있는가?
• RQ2 회전 행렬을 통한 합성 다중 시점 시각 자료의 포함 여부가 자세 관건 데이터에 대한 다양한 분류 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 증강된 자세 특징을 사용할 때, 다섯 가지 다른 신체 활동을 분류하는 데 가장 높은 정확도를 달성하는 기계 학습 분류기는 무엇인가?
• RQ4 특정 신체 관건 특징(예: 오른쪽 어깨)을 제거하면 노이즈 또는 중복성 감소로 인해 분류 성능 향상이 이루어지는가?
• RQ5 제안된 방법은 정확도와 데이터 효율성 측면에서 최신 기술 수준의 HAR 모델과 비교해 어떻게 성과를 내는가?

주요 결과

• SVM-SGD 최적화 기법을 사용할 경우, 회전 행렬 기반 데이터 증강과 조합하여 최고의 분류 정확도 96%를 달성하였다.
• 데이터 증강 없이 기준 정확도는 단지 64%에 불과했으며, 이는 증강 기법의 핵심적 역할을 확인시킨다.
• 12개 관건 표현에서 오른쪽 어깨 관건을 제거함으로써 SVM-SGD 성능이 향상되어 11개 관건 특징으로 96% 정확도를 달성하였다.
• 회전 행렬 증강 기법은 각 원본 샘플당 360° 합성 시야를 생성하여 단일 카메라 소스에서 다중 시점 학습 데이터를 효과적으로 시뮬레이션하였다.
• 모든 평가된 분류기 중에서 SVM-SGD는 다양한 관건 구성 및 증강 전략에 걸쳐 가장 일관되고 뛰어난 성능을 보였다.
• 제안된 방법은 극히 적은 수의 학습 샘플로도 다섯 가지 체육 활동에서 96%의 정확도를 달성하여, 이전 연구가 훨씬 더 많은 데이터를 요구했던 것에 비해 뛰어난 성능을 발휘하였다.