[論文レビュー] An individual-level ground truth dataset for home location detection

Luca Pappalardo, Leo Ferres+3 more|arXiv (Cornell University)|Oct 17, 2020

Human Mobility and Location-Based Analysis参考文献 36被引用数 5

ひとこと要約

本論文は、3つのデータストリーム—通話記錆記録（CDRs）、拡張記錆記録（XDRs）、制御プレーン記録（CPRs）—を介して、既知の自宅住所とモバイル電話記録を持つ65名の個人レベルの真値データセットを新たに提供し、自宅特定アルゴリズム（HDA）の厳密な評価を目的としている。XDRsに夜間活動に基づくHDA（HDA3）を適用した場合、k=3のとき74%の最高精度を達成した。一方、CPRsは最小限のデータ（最低10%）で安定的かつ高い精度を達成でき、既存研究で支配的とされてきたCDRsの優位性に疑問を呈している。

ABSTRACT

Home detection, assigning a phone device to its home antenna, is a ubiquitous part of most studies in the literature on mobile phone data. Despite its widespread use, home detection relies on a few assumptions that are difficult to check without ground truth, i.e., where the individual that owns the device resides. In this paper, we provide an unprecedented evaluation of the accuracy of home detection algorithms on a group of sixty-five participants for whom we know their exact home address and the antennas that might serve them. Besides, we analyze not only Call Detail Records (CDRs) but also two other mobile phone streams: eXtended Detail Records (XDRs, the ``data'' channel) and Control Plane Records (CPRs, the network stream). These data streams vary not only in their temporal granularity but also they differ in the data generation mechanism', e.g., CDRs are purely human-triggered while CPR is purely machine-triggered events. Finally, we quantify the amount of data that is needed for each stream to carry out successful home detection for each stream. We find that the choice of stream and the algorithm heavily influences home detection, with an hour-of-day algorithm for the XDRs performing the best, and with CPRs performing best for the amount of data needed to perform home detection. Our work is useful for researchers and practitioners in order to minimize data requests and to maximize the accuracy of home antenna location.

研究の動機と目的

• モバイル電話データ研究における自宅特定アルゴリズム（HDA）を検証するための、個人レベルの真値データの不足を是正すること。
• 人間がトリガーするCDRs（人間主導）、人間と機械のハイブリッドであるXDRs（人間・機械ハイブリッド）、機械がトリガーするCPRs（機械主導）という3つの異なるモバイル電話データストリームを用いて、代表的なHDAの精度を評価すること。
• 信頼性のある自宅特定を達成するための、各ストリームごとに必要な最小データ量を定量化し、プライバシー保護研究におけるデータ最小化を支援すること。
• 今後のモビリティ分析、公式統計、ジオプライバシー分野の研究を支援するため、再現可能なベンチマークデータセットとコードを提供すること。

提案手法

• 65名のTelefónica Chile従業員から2週間分の匿名化されたモバイル電話記録（CDRs、XDRs、CPRs）を収集した。
• 各ユーザーの実際の自宅住所を最も近い基地局にマッピングし、自宅位置の真値を確立した。
• HDA3（午後7時～午前9時の夜間活動が最も高いものに基づく自宅特定）を含む5つの一般的なHDAを実装・評価した。
• 各ユーザーの全ストリームに対して、10%、20%、…、100%の記録をランダムにサンプリングすることで、データ最小化実験を実施し、精度の閾値を評価した。
• 評価指標として、精度（ACC）と検出された自宅位置と実際の自宅位置との距離を用い、5回のランダム化実行の平均値を算出した。
• データセット、コード、結果を公開し、今後のモビリティ研究およびプライバシー研究における再現性とベンチマークの可能性を高めた。

実験結果

リサーチクエスチョン

• RQ1 標準的なHDAを用いた場合、CDRs、XDRs、CPRsのうちどのモバイル電話データストリームが自宅特定において最も高い精度を示すか？
• RQ2 夜間活動に基づくHDA3（例：HDA3）のような自宅特定アルゴリズムの選択が、異なるデータストリームにおける精度にどのように影響を与えるか？
• RQ3 安定的かつ正確な自宅特定を達成するために、各ユーザーおよび各ストリームで必要な最小データ量はどの程度か？
• RQ4 異なるデータサンプリング率を用いた場合、各ストリームにおける自宅特定精度の安定性はどのように変化するか？
• RQ5 機械がトリガーする（CPRs）および人間と機械のハイブリッドである（XDRs）記録が、人間がトリガーする（CDRs）記録よりも、自宅特定においてどの程度優れているか？

主な発見

• XDRベースのHDA3アルゴリズムは、上位3つの検出基地局を考慮した場合、平均で74%の最高精度（ACC²ₖ=3）を達成し、他のストリームとアルゴリズムの組み合わせをすべて上回った。
• XDRsは平均的に最も高い自宅特定精度を示し、検出された基地局とユーザーの実際の自宅住所との中央値距離が5km未満であった。
• CPRsは最高のデータ効率を示し、全記録の10%のデータ量で最大精度にほぼ達し、ランダム化試行においても最も安定したパフォーマンスを示した。
• CDRsは、異なるデータサンプル間で精度のばらつきが最も大きく、全データセットを用いても信頼性と安定性が低いことが示された。
• データ最小化実験の結果、CPRsは全CDRsデータセットと同等の精度を達成するための記録数を著しく少なく（最低10%）でよかった。これは、プライバシーに配慮した応用においてCPRsを優先的に使用する根拠を示唆している。
• 本研究は、自宅特定研究において広く用いられているCDRsの依存を疑問視しており、XDRsや特にCPRsに比べて精度と安定性が低いことが明らかになった。