[논문 리뷰] A Semi-supervised Approach for Activity Recognition from Indoor Trajectory Data

Mashud Rana, Ashfaqur Rahman외 1명|arXiv (Cornell University)|2023. 01. 09.

Human Mobility and Location-Based Analysis인용 수 6

한 줄 요약

이 논문은 제조 환경에서 노이즈가 많은 실내 궤적 데이터로부터 활동 인식을 위한 준지도 학습 딥 러닝 프레임워크를 제안한다. 정보 이론 기반 기준을 사용해 궤적을 분할하고, 제약 조건이 있는 계층적 클러스터링을 통해 의사 레이블을 할당하며, 레이블이 부여된 및 의사 레이블이 부여된 세그먼트를 기반으로 CNN을 학습시켜 인간 레이블 데이터가 최소한일 때 F-스코어가 0.81에서 0.95 사이로 성능을 달성한다.

ABSTRACT

The increasingly wide usage of location aware sensors has made it possible to collect large volume of trajectory data in diverse application domains. Machine learning allows to study the activities or behaviours of moving objects (e.g., people, vehicles, robot) using such trajectory data with rich spatiotemporal information to facilitate informed strategic and operational decision making. In this study, we consider the task of classifying the activities of moving objects from their noisy indoor trajectory data in a collaborative manufacturing environment. Activity recognition can help manufacturing companies to develop appropriate management policies, and optimise safety, productivity, and efficiency. We present a semi-supervised machine learning approach that first applies an information theoretic criterion to partition a long trajectory into a set of segments such that the object exhibits homogeneous behaviour within each segment. The segments are then labelled automatically based on a constrained hierarchical clustering method. Finally, a deep learning classification model based on convolutional neural networks is trained on trajectory segments and the generated pseudo labels. The proposed approach has been evaluated on a dataset containing indoor trajectories of multiple workers collected from a tricycle assembly workshop. The proposed approach is shown to achieve high classification accuracy (F-score varies between 0.81 to 0.95 for different trajectories) using only a small proportion of labelled trajectory segments.

연구 동기 및 목표

• 제조 환경에서 저품질이고 노이즈가 많은 실내 궤적 데이터 문제를 해결하기 위해.
• 준지도 학습을 활용해 활동 인식에 필요한 비용이 많이 드는 인간 레이블링에 의존도를 줄이기 위해.
• 제한된 레이블 데이터로 실생활 협업 제조 환경에서의 분류 정확도를 향상시키기 위해.
• 후속 분류 작업을 위해 궤적을 행동적으로 균일한 단위로 분할하는 강력한 파ip라인을 개발하기 위해.

제안 방법

• 정보 이론 기반 기준을 사용해 변화점 탐지로 장기간 궤적을 행동적으로 균일한 단위로 분할한다.
• 공간적 및 시간적 유사성에 기반해 궤적 세그먼트를 자동으로 레이블링하기 위해 제약 조건이 있는 계층적 클러스터링을 적용한다.
• 제한된 인간 레이블이 부여된 데이터에서 유도된 클러스터링 제약 조건을 활용해 레이블이 없는 세그먼트에 대해 의사 레이블을 생성한다.
• 실제 레이블이 부여된 세그먼트와 의사 레이블이 부여된 세그먼트를 조합하여 1D 합성곱 신경망(CNN)을 학습시켜 활동 분류를 수행한다.
• 다단계 파이프라인을 사용한다: 분할 → 클러스터링 기반 레이블링 → 딥 러닝 분류.
• 수동 레이블링을 최소화하면서도 실제 궤적 데이터에 대한 모델 일반화 능력을 극대화하기 위해 데이터 기반 접근 방식을 채택한다.

실험 결과

연구 질문

• RQ1 정보 이론 기반 분할 방법이 노이즈가 많은 실내 환경에서 행동적으로 균일한 궤적 세그먼트를 효과적으로 식별할 수 있는가?
• RQ2 제한된 인간 레이블 예시가 있을 때 제약 조건이 있는 계층적 클러스터링이 의미 있는 의사 레이블을 궤적 세그먼트에 얼마나 정확하게 할당할 수 있는가?
• RQ3 제안된 준지도 학습 프레임워크가 완전 지도 학습 또는 비지도 학습 기반 대안 대비 활동 인식 성능을 얼마나 향상시키는가?
• RQ4 실생활 제조 궤적 데이터에서 레이블이 부여된 데이터 비율을 변화시킬 경우 최종 분류 F-스코어에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다양한 작업자 궤적에서 F-스코어가 0.81에서 0.95 사이로 다양하게 달성되어 강력한 분류 성능을 입증한다.
• 모델는 레이블이 부여된 궤적 세그먼트의 비율이 매우 낮은 경우에도 높은 정확도를 유지하여 준지도 학습의 효율성을 검증한다.
• 정보 이론 기반 기준에 기반한 분할은 노이즈가 많은 실내 궤적에서 고유한 행동 패턴을 효과적으로 분리한다.
• 제약 조건이 있는 클러스터링을 통한 의사 레이블링은 무작위 또는 비지도 레이블링 전략 대비 모델 성능을 크게 향상시킨다.
• CNN 기반 분류기는 실제 삼륜오토바이 조립 공장에서 관찰된 다양한 이동 패턴에 잘 일반화된다.