[논문 리뷰] Cross-Country Skiing Gears Classification using Deep Learning

Aliaa Rassem, Mohammed El-Beltagy외 1명|arXiv (Cornell University)|2017. 06. 27.

Human Pose and Action Recognition참고 문헌 1인용 수 7

한 줄 요약

이 논문은 3차원 가속도계 데이터를 사용하여 종단 간격 스키 기어를 분류하기 위한 딥러닝 접근법을 제안한다. 여기서는 합성곱 신경망(CNN), 장기 단기 기억(LSTM) 네트워크, 다층 퍼셉트론(MLP)을 비교 분석한다. 표준 전방 LSTM가 1.6%의 가장 낮은 분류 오차를 기록하여, 공유 가중치와 메모리 게이트를 통해 시간적 의존성을 모델링할 수 있는 능력 덕분에 다른 모델들을 압도한다.

ABSTRACT

Human Activity Recognition has witnessed a significant progress in the last decade. Although a great deal of work in this field goes in recognizing normal human activities, few studies focused on identifying motion in sports. Recognizing human movements in different sports has high impact on understanding the different styles of humans in the play and on improving their performance. As deep learning models proved to have good results in many classification problems, this paper will utilize deep learning to classify cross-country skiing movements, known as gears, collected using a 3D accelerometer. It will also provide a comparison between different deep learning models such as convolutional and recurrent neural networks versus standard multi-layer perceptron. Results show that deep learning is more effective and has the highest classification accuracy.

연구 동기 및 목표

• 스키 기어의 강도와 빈도가 다양함에 따라 센서 기반 데이터를 활용해 종단 간격 스키 기어를 분류하는 데 도전하는 것.
• 특히 CNN, LSTM, MLP와 같은 딥러닝 모델이 스키 운동 패턴을 분류하는 데 얼마나 효과적인지 평가하는 것.
• 수작업 특징 추출의 한계를 극복하기 위해 딥 네ural 네트워크를 통한 엔드 투 엔드 학습을 활용하는 것.
• 스키 신호의 시간적 동역학을 포착하는 데 있어 다양한 딥러닝 아키텍처의 성능을 비교하는 것.

제안 방법

• 다양한 스키 기어를 수행하는 다수의 스키어로부터 다축 가속도계 데이터를 수집하였다.
• 1D-CNN, 양방향 및 표준 LSTM, 이중층 MLP를 포함한 딥러닝 모델을 사용하여 센서 데이터의 시간적 시퀀스를 분류하였다.
• 수작업 특징 엔지니어링 없이 원시 3차원 가속도 신호를 입력으로 사용하여 계층적 특징 학습이 가능하도록 하였다.
• CNN의 필터 수와 각 시간 단계당 LSTM 유닛 수를 변화시켜 모델 성능을 최적화하였다.
• 표준 딥러닝 구성 요소를 활용: ReLU 활성화 함수, 맥스 풀링, 드롭아웃 정규화, 소프트맥스 출력 레이어.
• 다양하고 대규모인 스키 데이터셋을 기반으로 테스트 분류 오차를 사용하여 일반화 능력과 견고성을 비교 평가하였다.

실험 결과

연구 질문

• RQ1 수작업 특징 없이 원시 3차원 가속도계 신호에서 종단 간격 스키 기어를 효과적으로 분류할 수 있는가?
• RQ2 강도와 빈도가 다양하게 변하는 스키 운동 패턴을 분류할 때, CNN, LSTM, MLP와 같은 다양한 딥러닝 아키텍처는 어떻게 비교되는가?
• RQ3 스키 기어 인식에서 최소한의 분류 오차를 달성하기 위해 시간 단계당 최적의 LSTM 유닛 수는 얼마인가?
• RQ4 양방향 LSTM 아키텍처는 단방향 LSTM에 비해 스키 시퀀스 분류에서 이점이 있는가?
• RQ5 기존의 MLP는 왜 복잡하고 강도가 변하는 스키 신호에 대해 재현성 있는 성능을 내지 못하는가? 반복형 및 합성곱 네트워크와 비교해 설명하라.

주요 결과

• 표준 전방 LSTM가 1.6%의 가장 낮은 분류 오차를 기록하여 테스트된 모든 다른 모델들을 능가하였다.
• 시간 단계당 더 많은 순환 유닛을 가진 LSTM 모델일수록 성능 향상이 있었으며, 최적의 유닛 수는 입력 신호 길이와 일치하였다.
• 양방향 LSTM는 단방향 LSTM에 비해 성능 향상이 없었으며, 이는 스키 운동 패턴의 순차적 성격 때문일 수 있다.
• CNN는 소수의 국소 필터를 사용할 경우 최소 2.4%의 오차를 기록했지만, 필터 수를 늘려도 성능 향상이 없었다.
• 이중층 MLP는 일반화 능력이 떨어졌으며, 은닉 유닛 수가 증가할수록 성능이 악화되어 시간적 동역학을 효과적으로 모델링하지 못하는 것으로 나타났다.
• LSTM의 공유 가중치와 메모리 게이트 덕분에 시간적 시퀀스의 장기적 의존성을 효과적으로 학습할 수 있었으며, 이는 이 작업에 가장 적합한 아키텍처로 판단되었다.