[論文レビュー] Extraction of Behavioral Features from Smartphone and Wearable Data

Afsaneh Doryab, Prerna Chikarsel+2 more|arXiv (Cornell University)|Dec 18, 2018

Human Mobility and Location-Based Analysis参考文献 1被引用数 8

ひとこと要約

本論文は、スマートフォンおよびウェアラブルセンサーのデータから77,805の行動特徴を抽出する汎用的で拡張可能なフレームワークを提示している。このフレームワークは、時間的スケール（日次、週次、学期単位）にわたる複数モodalなデータストリーム（例：Bluetooth、位置情報、電話使用状況、歩数、睡眠）を対象としており、行動研究におけるモバイルヘルスおよびユビキタスコンピューティング分野における再現可能で行動的に意味のある特徴工学を可能にする。

ABSTRACT

The rich set of sensors in smartphones and wearable devices provides the possibility to passively collect streams of data in the wild. The raw data streams, however, can rarely be directly used in the modeling pipeline. We provide a generic framework that can process raw data streams and extract useful features related to non-verbal human behavior. This framework can be used by researchers in the field who are interested in processing data from smartphones and Wearable devices.

研究の動機と目的

• 行動研究におけるスマートフォンおよびウェアラブルセンサーのデータに対する標準化され、再利用可能な特徴抽出パイプラインの不足に対処すること。
• 共通の well-documented 行動特徴セットを提供することで、再現可能性および複数研究間の比較可能性を向上させること。
• 多様なセンサー・ストリーム（例：位置情報、Bluetooth、電話使用状況、歩数、睡眠）の統合を通じて、多モーダル行動モデリングを支援すること。
• 週次特徴トレンドの傾きおよび折り返し点分析を用いて、時間経過に伴う動的な行動変化を捉えること。
• 異なる研究文脈およびデータセットに適応可能なスケーラブルでモジュラーなフレームワークを提供することで、大規模な行動モデリングを促進すること。

提案手法

• 14のセンサー・チャンネルをカバーするAWAREフレームワークを用いて、スマートフォンおよびウェアラブル機器からの受動的かつ匿名化されたデータ収集を実施する。
• Bluetooth、通話、位置情報、キャンパスマップ、電話使用状況、歩数、睡眠の7つのコアデータストリームから特徴を抽出する。
• 4つの日次ウィンドウ（朝、昼、夕方、夜）、平日、週末、および学期単位の期間にわたる複数の時間的スケールでデータを処理する。
• Bluetoothスキャンデータに対してZ正規化とK-meansクラスタリング（K=2およびK=3）を適用し、スキャン頻度およびスキャン日数に基づいてデバイスを「自身」「関連者」「その他」に分類する。
• 週次特徴値に対して線形回帰および区分的線形回帰を適用し、行動トレンドの傾き、折り返し点、行動のシフトを検出するための行動変化特徴を計算する。
• 位置情報や音声活動の閾値に基づく推論（例：80％以上の音声活動を伴う20分以上建物内に滞在）を用いて、統合されたセンサー・データから行動状態（例：座りがち、社会的、活動的）を定義する。

実験結果

リサーチクエスチョン

• RQ1 複数モーダルなスマートフォンおよびウェアラブルセンサーのデータから、行動的に意味のある特徴を抽出するための汎用的かつ再利用可能なフレームワークをどのように設計できるか？
• RQ2 異なる時間的スケールで非言語的行動を的確に捉えるために、最も代表的で判別力のある特徴は何か？
• RQ3 縦断的な特徴トレンドを用いて、時間経過に伴う行動変化をどのように定量的にモデリングできるか？
• RQ4 単一センサー手法と比較して、統合されたセンサー・データは、行動状態（例：社会的、座りがち、活動的）の推定精度をどの程度向上できるか？
• RQ5 標準化された特徴セットは、モバイルヘルスおよびユビキタスコンピューティング分野における行動モデリング研究の再現性および比較可能性をどのように向上できるか？

主な発見

• フレームワークは7つのコアデータストリームから合計77,805の行動特徴を抽出し、包括的な行動モデリングを可能にしている。
• Z正規化されたスキャン頻度およびスキャン日数を用いたK-meansクラスタリングにより、最適なモデル選択が達成され、『自身』『関連者』『その他』のデバイスを効果的に区別できた。
• 傾き、折り返し点、セグメント別傾きといった行動変化特徴は、時間経過に伴う行動トレンドのシフトを効果的に捉えており、折り返し点検出にはベイジアン情報基準（BIC）が用いられている。
• 社会的行動時間は、居住地またはグリーンスペースに20分以上滞在し、かつ80％以上の音声/ノイズ検出が確認された場合に、位置情報データと会話センサー・データを統合することで正確に推定された。
• スクリーンアンロック頻度、総アンロック時間、ボウト長の統計量といった電話使用状況特徴は、デジタルインタラクションのパターンに関する詳細な洞察を提供している。
• 睡眠および歩数特徴はFitbit APIの出力から導出されており、ボウト単位の統計量（例：平均、最大、最小長）および効率性指標（例：良好な睡眠効率）により、堅牢な行動特徴化が可能になった。