[論文レビュー] Big Data Is a New Paradigm

Bin Jiang|arXiv (Cornell University)|Jan 1, 2015

Human Mobility and Location-Based Analysis参考文献 11被引用数 4

ひとこと要約

本稿は、ビッグデータが伝統的なスモールデータとは根本的に異なるパラダイムシフトをもたらすものであると提唱し、完全性、個別レベルの測定、ボトムアップ的出現を強調している。ボランティア地理情報（VGI）および夜間光データを活用することで、ヘッド/テールブレイクおよびフラクタル幾何学に基づいて定義される自然都市が、世界規模で自己同一性を示し、Zipfの法則に従うことが示された。これにより、ビッグデータ分析を通じて都市構造に関する新たな知見が得られた。

ABSTRACT

This paper is a first draft of the introduction to the special issue on volunteered geographic information published in Computers, Environment and Urban Systems (2015, 53, 1-122). In this short paper, I put georeferenced big data (hereafter, big data) such as tweets locations in comparison with small data such as census data in terms of data characteristics, and further argued that big data differs fundamentally from small data in terms of data analytics, both geometrially and statistically. I would like to thank my colleague Dr. Jean-Claude Thill, who expanded the draft towards a broader scope.

研究の動機と目的

• ビッグデータを単なるデータ量の多さとしてではなく、スモールデータとは明確に異なる変革的パラダイムとして再定式化すること。
• 都市的・地理的分析における従来のトップダウン的、集計的、ガウス分布に基づく手法の限界を解決すること。
• ビッグデータが、スモールデータでは見えない、自然都市のような出現的パターンの発見を可能にすることを示すこと。
• 不均質で重い尾を持つビッグデータを分析する基盤として、フラクタル幾何学およびパレート的（パワーロー）的思考を提唱すること。

提案手法

• すべてのTwitter位置の三角形不規則ネットワーク（TIN）を用い、平均値に比べて短い辺に基づいて自然都市を同定する。
• ヘッド/テールブレイクを適用し、データを繰り返しヘッド（大きなクラスタ）とテール（小さな要素）に分類することで、自己同一性を持つ構造を明らかにする。
• 夜間光画像を、それぞれのピクセルを多数の集団のデータポイントとして扱い、グローバル平均明るさを閾値として用いて自然都市の境界を定義する。
• フラクタル幾何学およびパワーロー統計（パレート的思考）を用いて、地理的不均質性とスケーリングパターンをモデル化する。
• 都市の規模と数がグローバルスケールでZipfの法則に従うことで、結果の妥当性を検証する。
• トップダウン的行政都市と、ビッグデータから導かれたボトムアップ的自然都市を比較し、パラダイム的差異を強調する。

実験結果

リサーチクエスチョン

• RQ1 ビッグデータは、データ特性と分析パラダイムの観点から、スモールデータとどのように根本的に異なるのか？
• RQ2 SNSや夜間光データといったビッグデータソースから自然都市を信頼性高く同定できるか。また、公式の都市境界と比べてどのように異なるか？
• RQ3 フラクタル幾何学およびパワーロー統計は、ビッグデータにおける不均質な地理的特徴の分析において、どのような役割を果たすのか？
• RQ4 従来のガウス分布に基づく手法が、ビッグデータを用いた都市システムの真の構造を捉えるのに失敗する理由は何か？
• RQ5 ヘッド/テールブレイク法は、どのようにしてビッグデータにおける自己同一性・スケールフリーなパターンの発見を可能にするのか？

主な発見

• TINベースのエッジ解析を用いてTwitter位置から導かれた自然都市は、強い自己同一性を示し、フラクタル幾何学とも整合的である。
• 自然都市のグローバルな分布はZipfの法則に従い、都市の規模と数が順位に対して逆比例する。
• グローバル平均明るさをしきい値としてヘッド/テールブレイクを適用した夜間光データは、自然都市を的確に同定でき、これもZipfの法則に従う。
• ヘッド/テールブレイク法は、重い尾を持つ分布を再帰的にヘッド（支配的クラスタ）と分離することで、自己同一性のあるパターンを効果的に特定する。
• ビッグデータは、集計やサンプリングによってスモールデータに隠れてしまう、出現的で大規模な都市的パターン（例：都市のグローバルスケーリング）の検出を可能にする。
• スモールデータ（トップダウン的、集中型、ガウス分布）からビッグデータ（ボトムアップ的、分散型、パワーロー）へのパラダイムシフトは、都市システムや地理的形状を理解する方法を根本的に変える。