[논문 리뷰] Home Activity Monitoring using Low Resolution Infrared Sensor

Lili Tao, Timothy N. Volonakis외 4명|arXiv (Cornell University)|2018. 11. 13.

Context-Aware Activity Recognition Systems참고 문헌 15인용 수 10

한 줄 요약

이 논문은 8×8 저해상도 적외선 센서 어레이를 사용하여 개인정보 보호 기능을 갖춘 가정 내 활동 모니터링 시스템을 제안한다. 2차원 이산余弦변환(DCT)을 활용해 공간적 및 시간적 특징을 추출한 후, SVM 분류를 수행한다. 새로운 데이터셋에서 전반적인 정확도는 87.50%이며,軋倒 감지에 대해 100% 민감도를 달성하여 일상 활동 인식에서 뛰어난 성능을 보이며 사용자 개인정보도 보호한다.

ABSTRACT

Action monitoring in a home environment provides important information for health monitoring and may serve as input into a smart home environment. Visual analysis using cameras can recognise actions in a complex scene, such as someones living room. However, although there the huge potential benefits and importance, specifically for health, cameras are not widely accepted because of privacy concerns. This paper recognises human activities using a sensor that retains privacy. The sensor is not only different by being thermal, but it is also of low resolution: 8x8 pixels. The combination of the thermal imaging, and the low spatial resolution ensures the privacy of individuals. We present an approach to recognise daily activities using this sensor based on a discrete cosine transform. We evaluate the proposed method on a state-of-the-art dataset and experimentally confirm that our approach outperforms the baseline method. We also introduce a new dataset, and evaluate the method on it. Here we show that the sensor is considered better at detecting the occurrence of falls and Activities of Daily Living. Our method achieves an overall accuracy of 87.50% across 7 activities with a fall detection sensitivity of 100% and specificity of 99.21%.

연구 동기 및 목표

• 시각 카메라와 관련된 윤리적 및 사회적 우려를 피할 수 있는 개인정보 보호 기능을 갖춘 가정 모니터링 시스템을 개발하기 위해.
• 저해상도 8×8 적외선 센서 어레이가 가정 환경에서 인체 활동 인식에 효과적으로 활용될 수 있는지 평가하기 위해.
• 저해상도 열감지 데이터를 활용해軋倒 및 일상생활 활동(ADLs)을 높은 정확도로 감지할 수 있음을 입증하기 위해.
• 저해상도 적외선 기반 활동 인식을 위한 새로운 벤치마크 데이터셋인 Infra-ADL2018을 제공하기 위해.
• 기존 데이터셋과 새로운 데이터셋에서 제안된 DCT 기반 방법과 베이스라인 간의 성능을 비교하여 성능의 타당성을 검증하기 위해.

제안 방법

• 시스템은 천장에 장착된 Panasonic Grid-EYE 8×8 적외선 센서 어레이를 사용하여 실시간으로 열감지 데이터를 캡처한다.
• 각 프레임에 대해 2차원 이산余弦변환(DCT)을 적용하여 공간적 특징을 추출하며, DCT 행렬의 왼쪽 상단 3×3 계수에 집중한다.
• 시간적 특징은 연속된 프레임의 DCT 계수를 연결하여 운동의 동적 특성을 표현한다.
• 연결된 공간-시간 특징을 기반으로 다중 클래스 선형 서포트 벡터 머신(SVM)을 훈련시켜 활동 분류를 수행한다.
• Coventry-Activity 데이터셋에서는 10겹 교차검증을, 새로운 Infra-ADL2018 데이터셋에서는 한 명의 피험자를 제외한 교차검증을 사용하여 평가한다.
• 센서의 저해상도 및 열감지 성격이 개인 식별을 방지함으로써 자연스럽게 개인정보 보호 기능을 제공한다.

실험 결과

연구 질문

• RQ1 8×8 저해상도 적외선 센서 어레이는 가정 환경에서 일상적인 인간 활동을 효과적으로 인식할 수 있는가?
• RQ2 제안된 DCT 기반 특징 추출 방법은 기존의 베이스라인 방법에 비해 정확도 측면에서 어떻게 비교되는가?
• RQ3 이 센서 시스템은 얼마나 높은 민감도와 특이도로軋倒 사건을 감지할 수 있는가?
• RQ4 센서의 설치 위치와 공간 해상도는 '앉기'와 '정지한 상태에서 서 있기'와 같은 유사한 활동을 구분하는 데 어떤 영향을 미치는가?
• RQ5 공개 가능한 새로운 데이터셋인 Infra-ADL2018은 저해상도 열감지 기반 활동 인식의 신뢰할 수 있는 평가를 가능하게 하는가?

주요 결과

• 제안된 방법은 7종의 다른 활동을 포함하는 Infra-ADL2018 데이터셋에서 전반적인 인식 정확도 87.50%를 달성한다.
• 軋倒 감지 민감도는 100%에 도달하여 테스트 세트에서 어떤 경우에도軋倒 사고를 놓치지 않았다.
• 軋倒 감지 특이도는 99.21%로 매우 낮은 거짓 양성률을 보이며, 오직 '서서 앉기' 동작만 때로는軋倒로 오분류되었다.
• 특히 '좌우로 움직이기'와 '앞뒤로 움직이기'와 같은 운동이 많은 활동에서, 기존 데이터셋에서 제안된 방법이 베이스라인을 크게 앞서는 성능을 보였다.
• '앉아 있는 상태'와 '서 있는 상태' 간의 혼동은 천장에 장착된 센서의 상단 시야로 인해 두 동작 모두 유사한 열적 패턴을 생성하기 때문으로 분석된다.
• 다중 센서(S1, S2, S3)의 사용은 특히 유사한 자세를 구분하는 데 있어 인식 성능을 향상시킨다.