[論文レビュー] Predicting Poverty Level from Satellite Imagery using Deep Neural Networks

Varun Chitturi, Zaid Nabulsi|arXiv (Cornell University)|Nov 30, 2021

Impact of Light on Environment and Health被引用数 8

ひとこと要約

本論文では、限られたラベル付きデータを踏まえて、データ拡張およびトランスファーラーニングを活用することで、昼間および夜間の衛星画像から地域の貧困レベルを予測するための深層ニューラルネットワーク（DNNs）の使用を提案する。主な貢献は、DNNが大陸を越えて効果的に一般化できることを示したことである。特に、アフリカのデータで学習させたモデルがアジアでテストされた場合、RMSE 0.926を達成し、夜間画像は昼間画像よりもモデルのアーキテクチャの複雑さに対してより顕著な性能向上を示すことが明らかになった。

ABSTRACT

Determining the poverty levels of various regions throughout the world is crucial in identifying interventions for poverty reduction initiatives and directing resources fairly. However, reliable data on global economic livelihoods is hard to come by, especially for areas in the developing world, hampering efforts to both deploy services and monitor/evaluate progress. This is largely due to the fact that this data is obtained from traditional door-to-door surveys, which are time consuming and expensive. Overhead satellite imagery contain characteristics that make it possible to estimate the region's poverty level. In this work, I develop deep learning computer vision methods that can predict a region's poverty level from an overhead satellite image. I experiment with both daytime and nighttime imagery. Furthermore, because data limitations are often the barrier to entry in poverty prediction from satellite imagery, I explore the impact that data quantity and data augmentation have on the representational power and overall accuracy of the networks. Lastly, to evaluate the robustness of the networks, I evaluate them on data from continents that were absent in the development set.

研究の動機と目的

• 発展途上地域における実地調査による真の経済データの不足という課題を踏まえ、上空からの衛星画像を用いて地域の貧困レベルを予測する深層学習モデルの開発を目的とする。
• データ量およびデータ拡張の影響が、貧困予測における深層ニューラルネットワークの表現力と精度にどのように及ぶかを評価すること。
• 訓練データに含まれない大陸の地域へのモデルの一般化能力を評価し、分布シフトに対するロバストネスを検証すること。
• 昼間および夜間の衛星画像を用いたDNNの貧困推定における性能を比較すること。
• 限られたスパarsな貧困データと衛星画像を組み合わせて、正確かつ一般化可能なモデルを訓練する可能性を検討すること。

提案手法

• アフリカ、南米、アジア、ヨーロッパ、カリブ海地域の44,193都市から得られた88,386枚の衛星画像（昼間および夜間）と、都市レベルの富の指標をペアリングしたデータセットを構築した。
• ReLU活性化関数を用いた2層の全結合DNN（1層あたり512ユニット）を、重み減衰とドロップアウトを用いた確率的勾配降下法で訓練した。
• 有効なトレーニングデータ量の増加と一般化性能の向上を目的として、ランダムクロッピング、反転、色のジャマリングなどのデータ拡張技術を適用した。
• 特にラベル付きデータが限られる状況を考慮し、トランスファーラーニングおよび事前学習戦略を用いてモデル性能を向上させた。
• RMSEを主な指標として用い、k分割交差検証およびホールドアウトテストセットを用いてモデル性能を評価した。
• 訓練データに含まれない大陸（例：アフリカで学習し、アジアやヨーロッパでテスト）を用いた評価を通じて、ゼロショット一般化能力を検証した。

実験結果

リサーチクエスチョン

• RQ1 従来の実地調査に依存せずに、衛星画像のみを用いてDNNが地域の貧困レベルを正確に予測できるか？
• RQ2 データ量およびデータ拡張は、衛星画像からの貧困予測におけるDNNの表現能力と予測精度にどのように影響するか？
• RQ3 訓練データに含まれない地域（大陸）に対してもモデルは良好に一般化できるか？また、異なる大陸ペア間での性能にどのような差が生じるか？
• RQ4 夜間の衛星画像は、昼間の画像よりもモデルのアーキテクチャの複雑さに対してより顕著な性能向上を示すか？
• RQ5 1つのDNNが昼間および夜間の両方の画像を有効に活用することで、単独で使用する場合よりも貧困予測の精度を向上させられるか？

主な発見

• アフリカのデータのみで学習させたDNNは、アジアのデータに対してテストした際、RMSE 0.926を達成し、一般用途モデルの自身の評価セットを上回った。
• アジアのデータで学習させたモデルはヨーロッパのデータに対しても適切に一般化し、RMSE 1.156を達成した。これは、大陸を越えた強力なトランスファー能力を示している。
• ヨーロッパのデータで学習させたモデルはアフリカのデータに対しては性能が低く、RMSE 3.182を記録した。これは、ヨーロッパとアフリカの衛星画像間に顕著なドメインシフトが存在することを示唆している。
• アーキテクチャの複雑さによる性能向上は、夜間画像のほうが昼間画像よりも顕著に見られた。これは、夜間データがまだ表現能力の面で飽和していない可能性を示している。
• データ拡張およびトランスファーラーニングは、特にデータが少ない状況下でモデルのロバストネスと精度を顕著に向上させた。
• シンプルな2層DNNアーキテクチャでさえ、多様でグローバルに代表的な衛星データで学習させることで、意味のある貧困予測を達成できることを示した。