[논문 리뷰] Logistic Activity Recognition Challenge (LARa Version 01) – A Motion Capture and Inertial Measurement Dataset

Friedrich Niemann, Christopher Reining외 9명|arXiv (Cornell University)|2020. 05. 31.

Maritime Navigation and Safety인용 수 5

한 줄 요약

이 논문은 인간 활동 인식(HAR)을 위한 하이브리드 딥 러닝 아키텍처를 제안하며, 깊이 있는 신경망을 통한 특징 추출과 도메인 지식 기반의 컨텍스트를 통합한 얕은 분류기로 특징 추출을 분리한다. 창고 워크플로의 현재 단계와 같은 프로세스 단계 컨텍스트를 통합함으로써, 컨텍스트 레이블이 부분적으로 잘못되었을 경우에도 HAR 정확도를 향상시킨다. 이는 LARa 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

<strong>LARa </strong>is the first freely accessible logistics-dataset for human activity recognition. In the ’Innovationlab Hybrid Services in Logistics’ at TU Dortmund University, two picking and one packing scenarios with 14 subjects were recorded using OMoCap, IMUs, and an RGB camera. 758 minutes of recordings were labeled by 12 annotators in 474 person-hours. The subsequent revision was carried out by 4 revisers in 143 person-hours. All the given data have been labeled and categorised into 8 activity classes and 19 binary coarse-semantic descriptions, also called attributes. You can find the latest version of the annotation tool here: https://github.com/wilfer9008/Annotation_Tool_LARa <strong>If you use this dataset for research, please cite the following paper: “LARa: Creating a Dataset for Human Activity Recognition in Logistics Using Semantic Attributes</strong><strong>”, Sensors 2020, DOI: 10.3390/s20154083</strong>

연구 동기 및 목표

• 창고와 같이 구조화된 수동 작업 환경에서 활동 분포가 프로세스 단계에 따라 달라지는 상황에서 인간 활동 인식(HAR)의 과제를 해결한다.
• 프로세스 단계의 동역학성과 활동 사전 지식과 같은 도메인 특화된 사전 지식을 忽시하는 순수 데이터 기반의 딥 러닝 모델의 한계를 극복한다.
• 현재 프로세스 단계와 같은 컨텍스트 정보를 재학습 없이도 통합할 수 있도록 모듈러한 HAR 시스템을 개발한다.
• 컨텍스트 정보가 HAR 성능에 미치는 영향을 평가하며, 특히 불완전하거나 노이즈가 있는 컨텍스트 추정 상황에서의 성능을 분석한다.

제안 방법

• 원시 관성 센서 데이터에서 자세나 손 사용과 같은 고수준 운동 기술 특징(속성)을 추출하기 위해 깊이 있는 신경망을 사용한다.
• 추정된 속성과 선택적 컨텍스트 특징을 기반으로 활동 클래스를 예측하기 위해 얕은 분류기(예: QDA, RF, HMM)를 활용한다.
• 특히 프로세스 단계(BPM 상태)를 분류기의 입력 특징으로 통합하여 컨텍스트 인식 분류를 가능하게 한다.
• 특징 추출(딥 네트워크)과 분류(얕은 모델)를 분리함으로써, 동일한 특징 추출기 모델을 다양한 도메인 또는 컨텍스트 가용성 수준에서 재사용할 수 있도록 한다.
• 정확한 상태를 확률 p로 무작위로 손상시켜 노이즈가 있는 프로세스 단계 레이블을 시뮬레이션하여 복원성 평가를 수행한다.
• 딥 네트워크는 원시 센서 데이터에서 엔드 투 엔드로 훈련되며, 얕은 분류기는 컨텍스트 입력과 함께 함께 훈련되어 활동 인식 최적화를 달성한다.

실험 결과

연구 질문

• RQ1 프로세스 단계 컨텍스트를 HAR 시스템에 통합하면 최신 기술 대비 분류 성능 향상이 이루어지는가?
• RQ2 제공된 프로세스 단계 정보가 정확하지 않거나 노이즈가 있을 경우 HAR 시스템의 성능은 어떻게 저하되는가?
• RQ3 컨텍스트 정보가 부분적으로 잘못되었을 때, 컨텍스트가 없는 모델 대비 제안된 아키텍처는 성능을 유지하거나 향상시키는가?
• RQ4 상호정보량으로 측정했을 때, 프로세스 단계 정보(BPM 상태 등)는 활동 분류의 불확실성을 얼마나 감소시키는가?

주요 결과

• 컨텍스트를 사용하지 않을 경우 제안된 하이브리드 모델은 기존 최신 기술 대비 더 높은 HAR 정확도(0.721)와 F1 스코어(0.715)를 달성한다. 기존 최신 기술은 정확도 0.621, F1 스코어 0.621을 기록한다.
• 정확한 프로세스 단계 컨텍스트를 제공하면 랜덤 포레스트 분류기의 F1 스코어가 0.715로 상승하여 뚜렷한 성능 향상을 보여준다.
• 랜덤 포레스트 분류기는 50%의 노이즈가 있는 프로세스 단계 레이블 조건에서도 기준 모델보다 성능이 뛰어나며, QDA는 최소 80%의 정확도를 확보해야 기준 모델을 능가한다.
• 상호정보량 분석 결과, 프로세스 단계 정보는 추가로 0.89비트의 분류 정보를 제공함을 확인하여, HAR에 있어 그 가치를 입증한다.
• 노이즈가 있는 컨텍스트 조건에서도 성능 향상이 유지되어, 부정확한 도메인 지식에 대한 강건성을 입증한다.
• 모듈러한 설계 덕분에 동일한 딥 특징 추출기를 다양한 도메인 또는 컨텍스트 가용성 수준에서 재사용할 수 있어, 탄력적인 구현이 가능하다.