[論文レビュー] Using Social Media Images for Building Function Classification

Eike Jens Hoffmann, Karam Abdulahhad+1 more|arXiv (Cornell University)|Feb 15, 2022

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

本論文は、関数分類の構築のため、Flickrから地理タグ付きの地上レベルのソーシャルメディア画像を抽出するスケーラブルでコンテンツ最優先のフィルタリングパイプラインを提案する。OSMの建物ポリゴンと視線解析を活用することで、42都市にまたがる2800万枚の画像を含む弱教師ありデータセットが得られ、3クラス分類タスクでF1スコア0.51を達成した。性能は主にOSMラベル品質に制限されており、モデルアーキテクチャの影響は小さい。

ABSTRACT

Urban land use on a building instance level is crucial geo-information for many applications, yet difficult to obtain. An intuitive approach to close this gap is predicting building functions from ground level imagery. Social media image platforms contain billions of images, with a large variety of motifs including but not limited to street perspectives. To cope with this issue this study proposes a filtering pipeline to yield high quality, ground level imagery from large social media image datasets. The pipeline ensures that all resulting images have full and valid geotags with a compass direction to relate image content and spatial objects from maps. We analyze our method on a culturally diverse social media dataset from Flickr with more than 28 million images from 42 cities around the world. The obtained dataset is then evaluated in a context of 3-classes building function classification task. The three building classes that are considered in this study are: commercial, residential, and other. Fine-tuned state-of-the-art architectures yield F1-scores of up to 0.51 on the filtered images. Our analysis shows that the performance is highly limited by the quality of the labels obtained from OpenStreetMap, as the metrics increase by 0.2 if only human validated labels are considered. Therefore, we consider these labels to be weak and publish the resulting images from our pipeline together with the buildings they are showing as a weakly labeled dataset.

研究の動機と目的

• 急速に発展する都市における、建物レベルでの詳細な都市土地利用データを取得する課題に対処すること。
• 従来の航空・衛星画像の限界を克服し、ソーシャルメディアプラットフォームからの地上レベルの視点を活用すること。
• 有効な地理タグとコンパス方位を保証する、スケーラブルで自動化されたフィルタリングパイプラインを構築すること。
• OSMのラベルを用いて大規模で弱教師ありのベンチマークデータセットを構築し、建物の機能分類に活用すること。
• OSMラベル品質が下流の分類性能に与える影響を評価し、データセットの実用性を示すこと。

提案手法

• 5段階のフィルタリングパイプラインが、有効な地理タグ、コンパス方向、建物への視線を有する画像のみを保持するように処理する。
• GPS座標、焦点距離、EXIFメタデータからのコンパスヘディングを用いて、線形視界アルゴリズムで画像をOSMの建物ポリゴンにマッチングする。
• シードデータセットを用いたコサイン類似度ベースの画像検索法により、建物の関連する地上レベルのビューを同定する。
• 物体検出を適用して画像内の建物を特定し、視野内にある最も近い建物にのみラベルを割り当てる。
• 実行時間と出力量のバランスを取るために、4つのハイパーパrameterでのみ構成されるスケーラブルなパイプライン設計である。
• ラベルはOSMの建物機能タグから得られ、既知の品質制限があるため弱教師ありとみなす。

実験結果

リサーチクエスチョン

• RQ1 有効な地理タグとコンパス方位を持つソーシャルメディア画像を、都市土地利用分類の目的で、特定の建物に体系的に関連付けることは可能か？
• RQ2 OSMの建物機能から得られる弱教師ありデータセットは、ディープラーニングを用いた建物機能分類にどの程度有効か？
• RQ3 OSMラベル品質が、建物機能分類モデルの性能にどの程度影響を及えるか？
• RQ4 コンテンツ最優先のフィルタリングパイプラインは、数十億枚のソーシャルメディア画像にスケーリング可能であり、空間的正確性を維持できるか？
• RQ5 同じ分類タスクにおいて、人間による検証済みラベルとOSM由来のラベルを使用した場合、性能にどのような差が生じるか？

主な発見

• 提案されたフィルタリングパイプラインは、42都市にまたがるFlickrから、有効なコンパス方位とOSM建物への空間的整合性を有する2800万枚の地理タグ付き地上レベルの画像を正常に抽出した。
• 最先端の微調整モデルは、OSMラベルデータを用いて3クラス分類タスク（商業、住宅、その他）でF1スコア0.51を達成した。
• 人間による検証済みラベルに限定した場合、F1スコアは0.20上昇して0.71にまで向上し、OSMラベル品質が主な性能ボトルネックであることが示された。
• データセットは、OSMからの弱教師ありラベルと、3名の独立したレビュアーによる人間検証済みラベルを含む高品質サブセットを併せ持つベンチマークとして公開された。
• 本研究は、メタデータ品質とラベル信頼性を慎重に管理すれば、ソーシャルメディア画像が都市土地利用分析のための実用的でスケーラブルなソースであることを確認した。
• パイプラインの性能は多様な都市環境にわたり強く、将来的にマルチラベルや細分化された分類スキームへの拡張をサポートする。