[논문 리뷰] Spatiotemporal Motion Synchronization for Snowboard Big Air

Seiji Matsumura, Dan Mikami외 2명|arXiv (Cornell University)|2021. 12. 20.

Winter Sports Injuries and Performance인용 수 5

한 줄 요약

이 논문은 다양한 카메라 각도에서 촬영한 스노보드 빅에어 연습 영상 간의 시공간 운동 동기화 방법을 제안한다. 이는 호모그래피 기반 공간 정렬과 시간 오프셋 탐지 기법을 사용하여 영상들을 정렬한다. 전문 스노보더들은 이 방법이 신체 운동의 미세한 차이를 크게 향상시켜 연습 중 성능 비교 및 기량 향상에 더 효과적으로 기여한다고 평가했다.

ABSTRACT

During the training for snowboard big air, one of the most popular winter sports, athletes and coaches extensively shoot and check their jump attempts using a single camera or smartphone. However, by watching videos sequentially, it is difficult to compare the precise difference in performance between two trials. Therefore, side-by-side display or overlay of two videos may be helpful for training. To accomplish this, the spatial and temporal alignment of multiple performances must be ensured. In this study, we propose a conventional but plausible solution using the existing image processing techniques for snowboard big air training. We conducted interviews with expert snowboarders who stated that the spatiotemporally aligned videos enabled them to precisely identify slight differences in body movements. The results suggest that the proposed method can be used during the training of snowboard big air.

연구 동기 및 목표

• 연습 중 다양한 카메라 각도에서 촬영한 스노보드 빅에어 점프 성과를 비교하는 데 도전 과제를 해결한다.
• 순차적인 영상 검토로는 감지하기 어려운 점프 시험 간 신체 운동의 미세한 차이를 선수와 코치가 감지할 수 있도록 한다.
• 특수 하드웨어나 실시간 피드백이 필요 없이 기존 기술을 활용한 실용적인 영상 처리 기반 솔루션을 개발하여 시공간 정렬을 달성한다.
• 전문가 인터뷰를 통해 실제 연습 환경에서의 유용성을 평가하여 방법의 효과성을 평가한다.

제안 방법

• 다른 카메라 위치에서 촬영한 두 영상의 공간 시점 정렬을 위해 호모그래피 변환을 사용하여 일관된 시각적 시점 확보.
• 영상 프레임에서 코너 포인트를 수동으로 식별하여 공간 정렬을 위한 호모그래피 행렬 계산.
• 운동 특징 분석을 통해 기준 프레임을 식별하고, 두 점프 시퀀스 간의 시간 오프셋을 결정.
• 해당 운동 단계(예: 이륙, 공중 회전 등)가 동시에 발생하도록 한 영상의 시간을 다른 영상에 대해 이동시켜 시간 정렬 적용.
• 측면 대조 또는 겹쳐보기 영상 출력을 생성하여 두 점프 성과를 직접 시각적으로 비교할 수 있도록 함.
• 积雪복이나 운동 흐림으로 인해 자세 추정이 신뢰할 수 없을 경우, 운동 히스토리 이미지를 간이 운동 특징으로 사용.

실험 결과

연구 질문

• RQ1 다양한 카메라 각도에서 촬영한 스노보드 빅에어 영상의 시공간 동기화가 운동 성과의 미세한 차이 감지를 향상시키는가?
• RQ2 제안된 방법은 운동 시작 시점의 타이밍이나 회전 각도 등의 신체 운동 차이를 선수들이 얼마나 효과적으로 식별하는가?
• RQ3 순차적 영상 검토에 비해 이 방법이 연습 활용도를 얼마나 향상시키는가?
• RQ4 호모그래피 변환으로 인한 공간 왜곡이 성능 분석 시 전문 사용자에게 눈에 띄거나 방해가 되는가?
• RQ5 휴대폰으로 촬영한 영상나 특정 카메라 각도가 변동하는 실용적 연습 상황을 지원할 수 있는가?

주요 결과

• 전문 스노보더들은 제안된 방법으로 생성한 측면 대조나 겹쳐보기 영상이 순차적 영상 검토보다 신체 운동의 미세한 차이를 더 명확히 감지할 수 있도록 도와주었다고 보고했다.
• 참가자들은 동기화된 출력을 통해 접근 단계에서 운동 시작 시점의 타이밍, 팔의 회전 각도, 점프 중 회전 품질 등의 구체적인 성과 차이를 더 효과적으로 식별했다.
• 이 방법은 초보자들이 점프 품질을 평가하거나 연습 성과와 대회 성과를 비교하는 데 특히 유용하다고 평가되었다.
• 참가자 중 누구도 호모그래피 변환으로 인한 신체 자세 왜곡을 인지하지 못했으며, 이는 테스트 범위 내에서 시각적 정밀도가 유지됨을 시사한다.
• 모든 인터뷰 대상자는 이 방법이 연습에 유용할 것이라며, 특히 연습과 대회 점프 비교 및 새로운 기교 학습에서 정신적 모델을 실제 성과와 일치시키는 데 도움이 된다고 평가했다.
• 실용적 도입 가능성은 높아 보이나, 수동으로 코너 포인트를 식별해야 하고 휴대폰 영상 지원이 부족한 점이 보급에 있어 주요 제한 요소로 지적되었다.