[논문 리뷰] Extraction of Behavioral Features from Smartphone and Wearable Data

Afsaneh Doryab, Prerna Chikarsel외 2명|arXiv (Cornell University)|2018. 12. 18.

Human Mobility and Location-Based Analysis참고 문헌 1인용 수 8

한 줄 요약

이 논문은 스마트폰 및 웨어러블 센서 데이터에서 77,805개의 행동 특징을 추출하기 위한 일반적이고 확장 가능한 프레임워크를 제시한다. 이는 시간적 분해능(일일, 주간, 학기 단위)을 고려한 다중 모odal 스트림(예: 블루투스, 위치, 전화 사용, 보행 수, 수면)을 활용한다. 이 방법은 모바일 헬스 및 유비쿼터스 컴퓨팅 연구에서 인간 행동을 모델링하기 위한 재현 가능하고 행동적으로 의미 있는 특징 공학을 가능하게 한다.

ABSTRACT

The rich set of sensors in smartphones and wearable devices provides the possibility to passively collect streams of data in the wild. The raw data streams, however, can rarely be directly used in the modeling pipeline. We provide a generic framework that can process raw data streams and extract useful features related to non-verbal human behavior. This framework can be used by researchers in the field who are interested in processing data from smartphones and Wearable devices.

연구 동기 및 목표

• 행동 연구에서 스마트폰 및 웨어러블 센서 데이터에 대한 표준화되고 재사용 가능한 특징 추출 파이프라인의 부족을 해결한다.
• 일관된 특징 세트를 제공하고 잘 문서화된 방식으로, 재현 가능성과 다수 연구 간 비교를 가능하게 한다.
• 다양한 센서 스트림(예: 위치, 블루투스, 전화 사용, 보행 수, 수면)을 통합하여 다중 모달 행동 모델링을 지원한다.
• 주간 특징 추세의 기울기 및 절점 분석을 통해 시간에 따른 동적인 행동 변화를 포착한다.
• 다양한 연구 맥락과 데이터셋에 적응 가능한 확장 가능하고 모듈화된 프레임워크를 제공하여 대규모 행동 모델링을 촉진한다.

제안 방법

• 14개 센서 채널을 통해 스마트폰 및 웨어러블 기기에서 수동적이고 익명화된 데이터 수집을 위한 AWARE 프레임워크를 활용한다.
• 블루투스, 통화, 위치, 캠퍼스 지도, 전화 사용, 보행 수, 수면의 7개 핵심 데이터 스트림에서 특징을 추출한다.
• 4개의 일일 창문(오전, 오후, 저녁, 야간), 평일, 주말, 학기 단위 기간을 포함한 다중 시간 분해능으로 데이터를 처리한다.
• 블루투스 스캔 데이터에 Z-정규화 및 K-means 군집화(K=2 및 K=3)를 적용하여 빈도와 스캔 일수 기반으로 기기 유형을 '자기', '관련자', '기타'로 분류한다.
• 주간 특징 값에 선형 및 조각별 선형 회귀를 적용하여 행동 추세, 절점, 행동 변화를 탐지하는 행동 변화 특징을 계산한다.
• 융합된 센서 데이터와 임계값 기반 추론(예: 80% 음성 활동이 관찰되는 20분 이상의 건물 내 체류로 사회적 활동 시간 정의)을 통해 행동 상태(예: 앉아서 있는, 사회적, 활동적인)를 정의한다.

실험 결과

연구 질문

• RQ1 다중 모달 스마트폰 및 웨어러블 센서 데이터에서 행동적으로 의미 있는 특징을 추출하기 위한 일반적이고 재사용 가능한 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 다양한 시간 척도에서 비언어적 인간 행동을 가장 잘 대표하고 구분 가능한 특징는 무엇인가?
• RQ3 장기적 특징 추세를 기반으로 시간에 따른 행동 변화는 어떻게 정량적으로 모델링할 수 있는가?
• RQ4 단일 센서 접근 방식에 비해 융합된 센서 데이터는 행동 상태 추론(예: 사회적, 앉아서 있는, 활동적인) 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 표준화된 특징 세트는 모바일 헬스 및 유비쿼터스 컴퓨팅 분야의 행동 모델링 연구 간 재현 가능성과 비교 가능성 향상에 얼마나 기여할 수 있는가?

주요 결과

• 프레임워크는 7개 핵심 데이터 스트림에서 총 77,805개의 행동 특징을 추출하여 포괄적인 행동 모델링을 가능하게 한다.
• Z-정규화된 빈도 및 스캔 일수에 기반한 K-means 군집화를 통해 '자기', '관련자', '기타' 기기 유형을 최적의 모델 선택 기준으로 성공적으로 구분한다.
• 기울기, 절점, 세그먼트별 기울기 등의 행동 변화 특징은 시간에 따른 행동 추세 변화를 효과적으로 포착하며, 절점 탐지에는 베이지안 정보 기준(BIC)을 사용한다.
• 사회적 활동 시간은 위치 데이터(거주지 또는 녹지 공간)와 대화 센서 데이터를 융합하여 정확히 추론할 수 있으며, 이는 해당 장소에 20분 이상 체류하고 80% 이상 음성/소음 감지가 이루어져야 한다.
• 화면 잠금 빈도, 총 잠금 해제 시간, 버스트 길이 통계와 같은 전화 사용 특징은 디지털 상호작용 패턴에 대한 세부적인 통찰을 제공한다.
• 수면 및 보행 특징는 피트비트 API 출력에서 유도되며, 버스트 수준 통계(예: 평균, 최대, 최소 길이) 및 효율성 지표(예: 높은 수면 효율성)를 통해 강력한 행동 특성 기반을 제공한다.