[論文レビュー] Fine-Grained Car Detection for Visual Census Estimation

Timnit Gebru, Jonathan Krause+4 more|arXiv (Cornell University)|Sep 7, 2017

Video Surveillance and Tracking Methods参考文献 20被引用数 20

ひとこと要約

本論文は、Google Street Viewの画像における細分化された自動車検出を活用して、収入、犯罪率、炭素排出量といった社会経済的属性を大規模に予測するコンピュータビジョンパイプラインを提案する。独自に構築した2657クラスの自動車データセットを用いて大規模な検出モデルを訓練した結果、実測収入データと高い相関（r=0.82）を示し、自動車の種別と地域の人口統計的特徴の間の社会学的洞察を明らかにした。

ABSTRACT

Targeted socioeconomic policies require an accurate understanding of a country's demographic makeup. To that end, the United States spends more than 1 billion dollars a year gathering census data such as race, gender, education, occupation and unemployment rates. Compared to the traditional method of collecting surveys across many years which is costly and labor intensive, data-driven, machine learning driven approaches are cheaper and faster--with the potential ability to detect trends in close to real time. In this work, we leverage the ubiquity of Google Street View images and develop a computer vision pipeline to predict income, per capita carbon emission, crime rates and other city attributes from a single source of publicly available visual data. We first detect cars in 50 million images across 200 of the largest US cities and train a model to predict demographic attributes using the detected cars. To facilitate our work, we have collected the largest and most challenging fine-grained dataset reported to date consisting of over 2600 classes of cars comprised of images from Google Street View and other web sources, classified by car experts to account for even the most subtle of visual differences. We use this data to construct the largest scale fine-grained detection system reported to date. Our prediction results correlate well with ground truth income data (r=0.82), Massachusetts department of vehicle registration, and sources investigating crime rates, income segregation, per capita carbon emission, and other market research. Finally, we learn interesting relationships between cars and neighborhoods allowing us to perform the first large scale sociological analysis of cities using computer vision techniques.

研究の動機と目的

• 公開済みの視覚的情報を用いて、社会経済的属性をスケーラブルに予測するコンピュータビジョンパイプラインの開発。
• 高コストかつ時間がかかる伝統的なアンケートベースの人口統計的データ収集方法の限界を克服すること。
• 都市環境における物体認識の向上を目的として、これまでで最大かつ最も挑戦的な細分化自動車データセットの構築。
• 自動車の種別と収入、分離度、犯罪などの地域特性との間の社会学的関係の解明。
• Street Viewからの視覚的情報が、高精度に複雑な都市指標を予測可能であることを実証すること。

提案手法

• 200の米国都市から得た5000万枚のGoogle Street View画像を用いて、大規模な細分化自動車検出システムを訓練。
• WebリソースおよびStreet Viewから得た70万枚の画像を含む、2657クラスの新しい自動車データセットを収集・アノテートし、自動車専門家が担当。
• 郵便番号ごとに、自動車のメーカー、モデル、年式、ボディタイプ、価格などの特徴を抽出し、地域の自動車構成を表現。
• リッジ回帰モデルを用いて、自動車特徴ベクトルを入力として、中央家庭収入および犯罪率を予測。
• 空間自己相関指標（モランのIおよびゲティス・オルドG）を用いて、都市間における自動車所有の分離パターンを分析。
• 予測値と実測値の社会経済的変数間のピアソン積率相関係数を算出し、モデルの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 Street View画像における細分化された自動車検出は、収入や犯罪率といった都市レベルの社会経済的指標を予測可能か？
• RQ2 特定の自動車属性と、収入や分離度といった地域レベルの人口統計的特徴との間にはどのような関係があるか？
• RQ3 1つのソース（Google Street View）からの視覚的情報で、高コストなアンケート調査で従来収集されてきた多様な都市指標をどれほど正確に予測できるか？
• RQ4 米国都市における自動車所有に、顕著な空間的パターンが存在するか、それが社会的分離を反映しているか？
• RQ5 郵便番号レベルで、収入および犯罪を最も強く予測する自動車特徴は何か？

主な発見

• 予測値と実測値の中央家庭収入間のピアソン相関係数は都市レベルでr=0.82、郵便番号レベルでr=0.70を達成。
• 外国製自動車の割合が収入と最も強く相関していた（r=0.47）、次に平均車両価格（r=0.44）が続いた。
• 1枚の画像に含まれる自動車数が犯罪予測の最も強い予測変数であり、人的犯罪ではr=0.36、財物犯罪ではr=0.31の相関を示した。
• バン車両の数が犯罪の予測に顕著な寄与を示し、合計犯罪ではr=0.30の相関を示した。これは、自動車の密度が高まると犯罪活動が増加する可能性を示唆している。
• シカゴは最高の分離度（モランのI = 0.82）を示し、ジャクソンビルはその33％（33% of Chicago’s value）にとどまった。これは外部の社会学的ランキングと整合的であった。
• 本システムは、Street Viewからの視覚的情報のみを用いて、1人あたりの炭素排出量、自動車登録台数、収入の分離度レベルを成功裏に予測した。