[논문 리뷰] Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US

Timnit Gebru, Jonathan Krause외 5명|arXiv (Cornell University)|2017. 02. 22.

Video Surveillance and Tracking Methods참고 문헌 5인용 수 30

한 줄 요약

이 논문은 미국의 인구 및 사회경제 통계를 고공간 해상도로 추정하기 위해 구글 스트리트 뷰 이미지를 활용한 딥러닝 접근법을 제안한다. 200개 도시에서 수집한 5,000만 장의 스트리트 레벨 이미지에서 차량의 브랜드, 모델, 연식을 분석함으로써 소득, 인종, 교육 수준, 투표 패턴을 높은 정확도로 예측한다. 특히, 승용차가 트럭보다 많은 15분 운전으로 주어진 지역에서 데모크래틱 정당 투표 가능성이 88%로 예측된다.

ABSTRACT

The United States spends more than $1B each year on initiatives such as the American Community Survey (ACS), a labor-intensive door-to-door study that measures statistics relating to race, gender, education, occupation, unemployment, and other demographic factors. Although a comprehensive source of data, the lag between demographic changes and their appearance in the ACS can exceed half a decade. As digital imagery becomes ubiquitous and machine vision techniques improve, automated data analysis may provide a cheaper and faster alternative. Here, we present a method that determines socioeconomic trends from 50 million images of street scenes, gathered in 200 American cities by Google Street View cars. Using deep learning-based computer vision techniques, we determined the make, model, and year of all motor vehicles encountered in particular neighborhoods. Data from this census of motor vehicles, which enumerated 22M automobiles in total (8% of all automobiles in the US), was used to accurately estimate income, race, education, and voting patterns, with single-precinct resolution. (The average US precinct contains approximately 1000 people.) The resulting associations are surprisingly simple and powerful. For instance, if the number of sedans encountered during a 15-minute drive through a city is higher than the number of pickup trucks, the city is likely to vote for a Democrat during the next Presidential election (88% chance); otherwise, it is likely to vote Republican (82%). Our results suggest that automated systems for monitoring demographic trends may effectively complement labor-intensive approaches, with the potential to detect trends with fine spatial resolution, in close to real time.

연구 동기 및 목표

• 미국 인구 조사(ACS)와 같은 전통적인 인구 조사 방식은 최대 5년의 데이터 지연을 겪는 데 비해, 저비용이며 실시간 대안을 개발하기 위해.
• 공개된 스트리트 레벨 영상과 딥러닝을 활용해 주거지 수준의 사회경제적 및 정치적 추세를 추론하기 위해.
• 차량의 특성—예를 들어 브랜드, 모델, 연식, 차량 유형 등—이 소득, 인종, 교육 수준, 투표 행동과 같은 인구 통계 변수의 강력한 대체 지표가 될 수 있음을 입증하기 위해.
• 몇몇 도시의 소량의 레이블이 부여된 설문 조사 데이터만을 사용하여 전국의 모든 우편번호 지역으로 일반화할 수 있는 전국적 인구 통계 추정을 가능하게 하기 위해.
• 정밀한 교차 검증과 실제 ACS 데이터 및 선거 데이터와의 비교를 통해 방법의 예측 능력을 검증하기 위해.

제안 방법

• 이 방법은 200개 미국 도시에서 수집한 5,000만 장의 구글 스트리트 뷰 이미지에서 차량을 탐지하기 위해 변형 가능한 부분 모델(DPM)을 사용한다.
• 畳형 신경망(CNN)은 차량의 브랜드, 모델, 연식, 차체 유형, 제조국을 기반으로 총 2,657개 카테고리로 차량을 분류한다.
• 이 시스템은 매 지역사회당 88개의 자동차 관련 특징을 추출한다. 이는 평균 차량 가격, 하이브리드 및 전기차 비율, 11종의 차체 유형과 58개의 차량 브랜드에 대한 분포를 포함한다.
• 리지 회귀 및 로지스틱 회귀 모델은 이름이 'A'와 'B'로 시작하는 도시의 일부 집합에서 학습되어 차량 특징으로부터 인구 통계 변수를 예측한다.
• 모델 평가에는 5중 교차 검증을 사용하며, 특징 정규화 및 예측 값 클리핑을 통해 정확성과 극단적 추정 방지를 보장한다.
• 정치적 소속은 조건부 확률을 통해 추정된다: P(데모크래틱|r>1) 및 P(레이버티칸|r<1), 여기서 r은 트럭 대비 승용차 비율이다.

실험 결과

연구 질문

• RQ1 스트리트 레벨 영상의 차량 특성은 우편번호 수준에서 정확하게 인구 및 사회경제 통계 변수를 추정하는 데 사용될 수 있는가?
• RQ2 소규모 도시 집합에서 학습된 딥러닝 모델이 전국적으로 인구 통계를 예측하는 데 얼마나 잘 일반화되는가?
• RQ3 승용차와 트럭의 비율과 같은 차량 특성이 정치적 투표 패턴을 얼마나 잘 예측하는가?
• RQ4 이 방법의 예측 정확도는 전통적인 수작업 중심의 설문 조사 방식인 ACS와 비교해 어떻게 되는가?
• RQ5 이 자동화된 영상 기반 접근법을 통해 인구 통계 추정의 공간 해상도와 시기적 적합성은 어느 정도인가?

주요 결과

• 딥러닝을 활용한 스트리트 레벨 영상에서 차량의 브랜드, 모델, 차체 유형을 분류하는 데 87.71%의 정확도를 달성했다.
• 승용차가 트럭보다 많은 15분 운전은 지역에서 데모크래틱 정당 투표 가능성을 88% 확률로 예측했으며, 트럭이 더 많은 경우 레이버티칸 정당 투표 가능성을 82%로 예측했다.
• 모델은 ACS 데이터와의 상관계수 0.85로 중위수 가구 소득을 우편번호 수준에서 강력한 예측 능력을 보였다.
• 인종 및 교육 구성 추정치는 ACS 기준값과 높은 일치를 보였으며, 로지스틱 회귀 모델이 합계가 100%가 되도록 제약 조건을 적용해 정확도를 높였다.
• 이 시스템은 5,000만 장의 이미지를 처리하고 2,200만 대의 차량을 단 두 주 만에 분류했다. 이는 10초당 한 장의 이미지를 처리하는 데 15년 이상의 인간 노동에 해당한다.
• 이 접근법은 높은 공간 해상도를 갖춘 실시간에 가까운 인구 통계 모니터링을 가능하게 하며, 상당한 비용 절감과 시간 단축을 이룬 전통적 설문 조사 방법에 대한 확장 가능한 대안을 제공한다.