[논문 리뷰] Urban Data Streams and Machine Learning: A Case of Swiss Real Estate Market

Vahid Moosavi|arXiv (Cornell University)|2017. 03. 30.

Housing Market and Economics인용 수 5

한 줄 요약

이 논문은 공개된 도시 데이터 스트림과 기계학습을 활용하여 스위스의 부동산 평가에 데이터 기반 접근법을 제안한다. 웹 크롤링을 통해 확보한 부동산 광고 정보와 OpenStreetMap의 건물 데이터를 조합함으로써, 170만 개의 부동산에 대한 임대 및 매매 가격 인덱스를 추정하고 개별 부동산 평가를 위한 API를 제공하는 시스템을 개발하였다. 랜덤 포레스트를 활용한 결과, 중앙값 절대상대오차가 6.57%에 도달하여 기존의 투명성 부족하고 비용이 높은 시스템을 뛰어넘는 성능을 보였다.

ABSTRACT

In this paper, we show how using publicly available data streams and machine learning algorithms one can develop practical data driven services with no input from domain experts as a form of prior knowledge. We report the initial steps toward development of a real estate portal in Switzerland. Based on continuous web crawling of publicly available real estate advertisements and using building data from Open Street Map, we developed a system, where we roughly estimate the rental and sale price indexes of 1.7 million buildings across the country. In addition to these rough estimates, we developed a web based API for accurate automated valuation of rental prices of individual properties and spatial sensitivity analysis of rental market. We tested several established function approximation methods against the test data to check the quality of the rental price estimations and based on our experiments, Random Forest gives very reasonable results with the median absolute relative error of 6.57 percent, which is comparable with the state of the art in the industry. We argue that while recently there have been successful cases of real estate portals, which are based on Big Data, majority of the existing solutions are expensive, limited to certain users and mostly with non-transparent underlying systems. As an alternative we discuss, how using the crawled data sets and other open data sets provided from different institutes it is easily possible to develop data driven services for spatial and temporal sensitivity analysis in the real estate market to be used for different stakeholders. We believe that this kind of digital literacy can disrupt many other existing business concepts across many domains.

연구 동기 및 목표

• 공개된 데이터 스트림을 활용한 투명하고 저비용의 부동산 평가 시스템 개발
• 도메인 전문가나 전용 데이터에 의존하지 않고 임대 시장의 공간적·시간적 민감도 분석 가능화
• 공개 데이터와 기계학습이 산업 표준 시스템과 비교해도 유사한 성능을 낼 수 있음을 입증
• 개별 부동산 임대 가격 추정을 위한 확장성 있고 자동화된 API 개발
• 비용이 높고 투명성 부족한 부동산 플랫폼의 지배적 지위를 도전하고, 도시 데이터 과학 분야의 개방형 디지털 리터러시를 촉진

제안 방법

• 스위스 각 지역의 공개 부동산 광고 정보를 웹 크롤링하여 리스트 데이터 확보
• OpenStreetMap에서 확보한 건물 수준의 데이터를 활용해 부동산 특성 강화
• 특히 랜덤 포레스트를 활용한 기계학습 모델을 적용해 임대 가격의 함수 근사화 수행
• 지속적인 데이터 스트림을 활용해 스위스 전역 170만 개 건물에 대한 국가 수준의 임대 및 매매 가격 인덱스 추정
• 실시간이고 자동화된 개별 부동산 평가를 위한 웹 기반 API 개발
• 모델 성능 평가를 위해 테스트 데이터를 활용해 다양한 함수 근사화 방법 평가

실험 결과

연구 질문

• RQ1 도메인 전문가의 입력 없이도 공개된 데이터 스트림과 기계학습을 통해 신뢰할 수 있는 부동산 가격 추정이 가능할 수 있는가?
• RQ2 공개 데이터와 웹 크롤링을 통해 확보한 리스트만으로도 자동화된 임대 가격 추정의 정확도는 어느 정도일 수 있는가?
• RQ3 랜덤 포레스트와 같은 표준 기계학습 모델이 스위스 부동산 가격 추정에 얼마나 잘 작동하는가?
• RQ4 이러한 시스템을 통해 투명하고 확장성 있으며 저비용인 공간적·시간적 민감도 분석이 가능할 수 있는가?
• RQ5 공개 데이터와 기계학습이 존재하는 투명성 부족한 부동산 플랫폼을 얼마나 심각하게 도전할 수 있는가?

주요 결과

• 랜덤 포레스트 모델은 임대 가격 추정에서 중앙값 절대상대오차 6.57%를 기록하여 뛰어난 성능을 입증하였다.
• 시스템은 공개 및 크롤링된 데이터만을 사용하여 스위스 전역 170만 개 건물에 대한 임대 및 매매 가격 인덱스를 성공적으로 추정하였다.
• 웹 기반 API를 통해 공간 민감도 분석 기능을 갖춘 정확하고 자동화된 개별 부동산 평가가 가능하다.
• 이 접근법은 기존의 상용 시스템보다 투명성 면에서 뛰어나며, 비용과 전용 데이터 의존도를 크게 낮춘다.
• 결과적으로 공개 데이터와 기계학습이 도메인 전문 지식 없이도 최첨단 정확도의 부동산 평가를 가능하게 함을 확인하였다.
• 본 연구는 도시 시장에 대해 확장성 있고 투명하며 저비용인 데이터 기반 서비스를 구축할 수 있음을 입증하였다.