[논문 리뷰] Subject Cross Validation in Human Activity Recognition

Akbar Dehghani, Tristan Glatard외 1명|arXiv (Cornell University)|2019. 04. 04.

Context-Aware Activity Recognition Systems참고 문헌 14인용 수 12

한 줄 요약

이 논문은 인식된 인간 활동(HAR) 성능에 대한 교차검증 방법의 영향을 조사하며, 표준 k-폴드 교차검증이 i.i.d. 가정 위반으로 인해 정확도를 약 10% 과대평가함을 보여주며, 중복 윈도우가 있을 경우 최대 16%까지 과대평가됨을 밝힌다. 저자들은 더 신뢰할 수 있는 평가 방법으로 주체 교차검증(Subject Cross Validation)을 제안하며, 중복 윈도우는 성능 향상에 기여하지 않으며 불필요한 계산 비용만 증가시킨다고 결론내린다.

ABSTRACT

K-fold Cross Validation is commonly used to evaluate classifiers and tune their hyperparameters. However, it assumes that data points are Independent and Identically Distributed (i.i.d.) so that samples used in the training and test sets can be selected randomly and uniformly. In Human Activity Recognition datasets, we note that the samples produced by the same subjects are likely to be correlated due to diverse factors. Hence, k-fold cross validation may overestimate the performance of activity recognizers, in particular when overlapping sliding windows are used. In this paper, we investigate the effect of Subject Cross Validation on the performance of Human Activity Recognition, both with non-overlapping and with overlapping sliding windows. Results show that k-fold cross validation artificially increases the performance of recognizers by about 10%, and even by 16% when overlapping windows are used. In addition, we do not observe any performance gain from the use of overlapping windows. We conclude that Human Activity Recognition systems should be evaluated by Subject Cross Validation, and that overlapping windows are not worth their extra computational cost.

연구 동기 및 목표

• k-폴드 교차검증이 주체별 데이터 상관관계로 인해 인간 활동 인식(HAR) 성능을 얼마나 과대평가하는지 조사하는 것.
• 다양한 검증 체계 하에서 비중복 및 중복 슬라이딩 윈도우의 영향을 분류기 성능에 미치는 영향을 평가하는 것.
• HAR 평가를 위한 k-폴드 CV보다 더 현실적이고 강건한 대안으로 주체 교차검증을 제안하는 것.
• 재현 가능성을 향상시키고 향후 HAR 평가에 대한 연구를 지원하기 위해 공개된 스크립트를 제공하는 것.
• 재현성 위기를 해결하기 위해 투명하고 방법론적으로 타당한 평가 관행을 촉진하는 것.

제안 방법

• 저자들은 Banos 등(2014)의 벤치마크 HAR 데이터셋을 사용하며, 이는 17명의 주체와 33개의 활동을 포함한다.
• 센서 데이터를 시간 윈도우로 분할하기 위해 비중복 및 중복 슬라이딩 윈도우 기법을 적용한다.
• 각 윈도우에서 특징 벡터를 추출하고, 여러 분류기(k-NN, SVM, 결정트리 등)를 훈련 및 평가한다.
• 성능은 두 가지 교차검증 체계인 표준 k-폴드 CV와 주체 교차검증 하에서 F1-스코어로 측정된다.
• 주체 교차검증은 훈련 세트와 테스트 세트에 동일한 주체가 포함되지 않도록 하여 데이터 독립성을 유지한다.
• 모든 실험은 재현 가능한 코드로 구현되었으며, 투명성과 재현 가능성을 위해 GitHub를 통해 공개되었다.

실험 결과

연구 질문

• RQ1 k-폴드 교차검증이 주체별 데이터 상관관계로 인해 얼마나 과대평가되는가?
• RQ2 k-폴드 CV와 비교할 때, 중복 슬라이딩 윈도우 사용이 성능 추정에 어떤 영향을 미치는가?
• RQ3 주체 교차검증으로 평가했을 때, 중복 윈도우링이 측정 가능한 성능 향상 기여를 하는가?
• RQ4 주체 교차검증은 k-폴드 CV보다 더 신뢰할 수 있고 현실적인 HAR 평가 프레임워크인가?
• RQ5 주체 교차검증은 HAR에서 분류기 성능 과대평가를 줄일 수 있는가?

주요 결과

• k-폴드 교차검증은 i.i.d. 가정 위반으로 인해 HAR 분류기 성능을 약 10% 과대평가함을 확인함.
• 중복 슬라이딩 윈도우를 사용할 경우, k-폴드 CV 하에서 성능 과대평가 비율이 16%로 증가함.
• 주체 교차검증으로 평가했을 때 중복 윈도우로 인한 성능 향상은 관찰되지 않음.
• 주체 교차검증은 실제 운영 환경 시나리오와 밀접하게 맞물리는 더 현실적이고 강건한 평가 프레임워크를 제공함.
• 중복 윈도우 사용은 분류 정확도 향상 없이 학습 시간을 거의 아홉 배로 증가시킴.
• 검증 방법의 선택이 성능 추정에 결정적인 영향을 미치며, k-폴드 CV는 HAR 평가에 적합하지 않음이 확인됨.