[논문 리뷰] Using Social Media Images for Building Function Classification

Eike Jens Hoffmann, Karam Abdulahhad외 1명|arXiv (Cornell University)|2022. 02. 15.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

이 논문은 도시 기능 분류를 위한 지도 기반 사회적 미디어 이미지를 추출하기 위해 확장 가능하고 콘텐츠 중심의 필터링 파이프라인을 제안한다. OSM 건물 외곽선과 시야 분석을 활용함으로써, 42개 도시에서 총 2800만 장의 지도 태그가 부여되고 지상 수준인 이미지로 이루어진 약한 레이블이 부여된 데이터셋을 생성하였다. 이는 3개 클래스 분류 작업에서 F1 점수 0.51를 기록하였으며, 성능은 주로 OSM 레이블 품질에 의해 제한되며 모델 아키텍처에 의해 제한되지 않는다.

ABSTRACT

Urban land use on a building instance level is crucial geo-information for many applications, yet difficult to obtain. An intuitive approach to close this gap is predicting building functions from ground level imagery. Social media image platforms contain billions of images, with a large variety of motifs including but not limited to street perspectives. To cope with this issue this study proposes a filtering pipeline to yield high quality, ground level imagery from large social media image datasets. The pipeline ensures that all resulting images have full and valid geotags with a compass direction to relate image content and spatial objects from maps. We analyze our method on a culturally diverse social media dataset from Flickr with more than 28 million images from 42 cities around the world. The obtained dataset is then evaluated in a context of 3-classes building function classification task. The three building classes that are considered in this study are: commercial, residential, and other. Fine-tuned state-of-the-art architectures yield F1-scores of up to 0.51 on the filtered images. Our analysis shows that the performance is highly limited by the quality of the labels obtained from OpenStreetMap, as the metrics increase by 0.2 if only human validated labels are considered. Therefore, we consider these labels to be weak and publish the resulting images from our pipeline together with the buildings they are showing as a weakly labeled dataset.

연구 동기 및 목표

• 빠르게 발전하는 도시를 중심으로 건물 수준의 세밀한 도시 이용 데이터 확보의 과제를 해결하기 위해.
• 기존 항공/위성 영상의 한계를 극복하기 위해 사회적 미디어 플랫폼에서 제공하는 지상 수준의 시각 정보를 활용하기 위해.
• 정확한 지도 태그와 나침반 방향을 보장하는 확장 가능한 자동화된 필터링 파이프라인을 개발하기 위해.
• OSM 레이블을 기반으로 한 대규모 약한 레이블이 부여된 벤치마크 데이터셋을 구축하기 위해.
• OSM 레이블 품질이 후속 분류 성능에 미치는 영향을 평가하고 데이터셋의 유용성을 입증하기 위해.

제안 방법

• 다섯 단계로 구성된 필터링 파이프라인은 지도 태그, 나침반 방향, 건물에 대한 시야가 확보된 이미지만을 유지하도록 처리한다.
• GPS 좌표, 렌즈 화각, EXIF 메타데이터에서 추출한 나침반 헤딩을 기반으로 한 선형 시야 알고리즘을 사용해 이미지를 OSM 건물 외곽선과 매칭한다.
• 기본 데이터셋을 활용한 코사인 유사도 기반 이미지 검색 방법을 통해 건물의 지상 수준 시각을 식별한다.
• 객체 검출을 적용하여 이미지 내 건물을 식별하고, 시야 내 가장 가까운 건물만 이미지에 할당한다.
• 런타임과 출력량의 균형을 맞추기 위해 단지 네 개의 하이퍼파라미터만을 필요로 하는 확장 가능한 파이프라인 설계를 한다.
• 레이블은 OSM의 건물 기능 태그에서 유도되며, 알려진 품질 한계가 있으므로 약한 지도 학습으로 간주한다.

실험 결과

연구 질문

• RQ1 정확한 지도 태그와 나침반 방향을 갖춘 사회적 미디어 이미지를 체계적으로 필터링하고 특정 건물에 연결할 수 있는가?
• RQ2 OSM 건물 기능에서 파생된 약한 레이블이 부여된 데이터셋이 딥러닝을 활용한 건물 기능 분류에 얼마나 효과적인가?
• RQ3 OSM 레이블의 품질이 건물 기능 분류 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 콘텐츠 중심의 필터링 파이프라인이 수십억 장의 사회적 미디어 이미지에 대해 확장 가능하며 공간 정확도를 유지할 수 있는가?
• RQ5 동일한 분류 작업에서 인간 검증 레이블을 사용할 경우와 OSM에서 유도된 레이블을 사용할 경우 성능에 어떤 차이가 있는가?

주요 결과

• 제안된 필터링 파이프라인은 42개의 글로벌 도시에서 Flickr에서 지도 태그가 부여되고 나침반 방향이 정확하며 OSM 건물와 공간적으로 정렬된 지상 수준의 이미지 총 2800만 장을 성공적으로 추출하였다.
• 최적화된 최신 기술 모델은 OSM 레이블 데이터를 기반으로 3개 클래스 분류 작업(상업, 주거, 기타)에서 F1 점수 0.51을 달성하였다.
• 인간 검증 레이블로 제한된 경우 F1 점수는 0.20 증가하여 0.71로 상승하였으며, 이는 OSM 레이블 품질이 성능의 주요 제한 요소임을 시사한다.
• 데이터셋은 OSM에서 유래한 약한 레이블과 세 명의 독립된 평가자가 검증한 고품질 레이블을 포함한 하위집합을 포함하여 벤치마크로 공개되었다.
• 연구는 메타데이터 품질과 레이블 신뢰성 관리가 철저히 이루어진다면 사회적 미디어 이미지가 도시 이용 분석을 위한 타당하고 확장 가능한 자료임을 확인하였다.
• 파이프라인의 성능은 다양한 도시 환경에서 뛰어난 안정성을 보이며, 향후 다중 레이블 또는 세분화된 분류 체계로의 확장도 지원한다.