[논문 리뷰] Concurrent Activity Recognition with Multimodal CNN-LSTM Structure

Xinyu Li, Yanyi Zhang외 5명|arXiv (Cornell University)|2017. 02. 06.

Context-Aware Activity Recognition Systems참고 문헌 39인용 수 32

한 줄 요약

이 논문은 이질적인 센서 데이터를 사용하여 동시 활동 인식을 위한 다중모달 CNN-LSTM 아키텍처를 제안한다. 각 모odal별로 CNN를 통해 공간적 특징을 추출하고, LSTMs를 통해 시간적 의존성을 모델링하며, 단일 이진출력 분류기를 사용해 특징을 융합하여 공동 분류를 수행한다. 이는 세 가지 다양한 데이터셋에서 도메인 특화 모델과 비교할 만한 성능을 달성하며, 확장 가능하고 통합된 프레임워크를 제공한다.

ABSTRACT

We introduce a system that recognizes concurrent activities from real-world data captured by multiple sensors of different types. The recognition is achieved in two steps. First, we extract spatial and temporal features from the multimodal data. We feed each datatype into a convolutional neural network that extracts spatial features, followed by a long-short term memory network that extracts temporal information in the sensory data. The extracted features are then fused for decision making in the second step. Second, we achieve concurrent activity recognition with a single classifier that encodes a binary output vector in which elements indicate whether the corresponding activity types are currently in progress. We tested our system with three datasets from different domains recorded using different sensors and achieved performance comparable to existing systems designed specifically for those domains. Our system is the first to address the concurrent activity recognition with multisensory data using a single model, which is scalable, simple to train and easy to deploy.

연구 동기 및 목표

• 다중모달 센서 데이터로부터 다수의 동시 활동을 인식하기 위한 통합된 딥러닝 프레임워크를 개발하는 것.
• 예를 들어 영상, 음성, 동작과 같은 이질적인 센서 모달리티를 하나의 확장 가능한 모델에 통합하는 과제를 해결하는 것.
• 다양한 활동을 동시에 예측할 수 있는 단일 분류기의 엔드 투 엔드 훈련 및 구현을 가능하게 하는 것.
• 특정 작업용 모델 재훈련 없이 다양한 도메인에서 경쟁 가능한 성능를 달성하는 것.
• 다양한 센서 유형과 환경에서 동시 활동 인식을 위한 단일 일반 목적 모델의 가능성을 입증하는 것.

제안 방법

• 각 센서 모달리티(예: 영상, 가속도계)는 공간적 특징을 추출하기 위해 별도의 합성곱 신경망(CNN)을 통해 처리된다.
• 각 모달리티의 특징 시퀀스 내 시간적 의존성은 장기 단기 기억(LSTM) 네트워크를 사용해 모델링된다.
• 모든 모달리티의 특징이 연결되어 공유 분류기 헤드에 입력되며, 이는 활성화된 활동 유형을 나타내는 이진 벡터를 출력한다.
• 다중 레이블 출력 벡터에 대해 이진 교차 엔트로피 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 특징 융합은 조기에 수행되며, 최종 분류 이전에 모달리티별 표현을 통합한다.
• 아키텍처는 다양한 센서 유형과 활동 도메인에 대해 확장 가능하고 일반화 가능한 방식으로 설계되었다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 이질적인 센서 입력에서 다수의 동시 활동을 효과적으로 인식할 수 있는가?
• RQ2 CNN-LSTM 아키텍처를 사용한 다중모달 특징 융합이 동시 활동 인식에서 모달리티별 특화 모델과 비교해 어떻게 성능을 내는가?
• RQ3 재훈련 없이도 단일 통합 모델이 다양한 도메인과 센서 유형으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 초기 특징 융합과 공유 분류기 헤드의 사용이 모델 성능 및 확장성에 미치는 영향은 무엇인가?
• RQ5 단일 엔드 투 엔드 훈련 가능한 모델이 다양한 실세계 환경에서 전문 시스템과 비교해 경쟁 가능한 성능를 달성할 수 있는가?

주요 결과

• 제안된 다중모달 CNN-LSTM 모델은 세 가지 서로 다른 응용 도메인의 데이터셋에서 기존 도메인 특화 시스템과 비교해 유사한 성능를 달성했다.
• 이 모델은 다양한 센서 유형과 환경에서 단일 통합 아키텍처를 사용해 다수의 동시 활동을 성공적으로 인식했다.
• 엔드 투 엔드 훈련과 공유 분류기 설계 덕분에 확장성과 구현 용이성이 뛰어났다.
• 모달리티별 CNN를 통한 특징 추출과 LSTMs를 통한 시간적 모델링이 공간적 및 순차적 패턴을 효과적으로 포착하는 데 성공했다.
• 단일 이진출력 분류기를 사용함으로써 활동 별 별도의 모델이 필요 없이 효율적인 다중 레이블 예측이 가능했다.
• 다양한 센서로 수집된 데이터셋 간에 뛰어난 강인성을 보이며, 일반화 능력이 확인되었다.