[論文レビュー] GeoDE: a Geographically Diverse Evaluation Dataset for Object Recognition

V. Ramaswamy, Sing Yu Lin+5 more|arXiv (Cornell University)|Jan 5, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

GeoDE は、40 種類のオブジェクトクラスと 6 つの世界地域をカバーする、61,940 枚の画像からなる地理的に多様なクラウドソーシング画像データセットであり、オブジェクト認識モデルにおける地理的バイアスを露呈することを目的としている。ウェブスクレイピングによるデータセットとは異なり、個人を特定できる情報（PII）を含まず、クリエイターへの報酬を保証し、訓練に使用することで、地域別ベンチマークにおいて最大 20.9% のモデル性能向上を実現する。

ABSTRACT

Current dataset collection methods typically scrape large amounts of data from the web. While this technique is extremely scalable, data collected in this way tends to reinforce stereotypical biases, can contain personally identifiable information, and typically originates from Europe and North America. In this work, we rethink the dataset collection paradigm and introduce GeoDE, a geographically diverse dataset with 61,940 images from 40 classes and 6 world regions, with no personally identifiable information, collected by soliciting images from people around the world. We analyse GeoDE to understand differences in images collected in this manner compared to web-scraping. We demonstrate its use as both an evaluation and training dataset, allowing us to highlight and begin to mitigate the shortcomings in current models, despite GeoDE's relatively small size. We release the full dataset and code at https://geodiverse-data-collection.cs.princeton.edu

研究の動機と目的

• 6 つのグローバル地域にわたるバランスの取れた表現を持つデータセットの作成を通じて、オブジェクト認識モデルにおける地理的バイアスに対処すること。
• ウェブスクレイピングに起因するステレオタイプ的バイアスや、西洋圏以外の地域の代表が不十分な問題を回避するデータセット収集手法の開発。
• 明示的な許可の取得、コンテンツクリエイターへの報酬支払い、個人を特定できる情報（PII）の排除を通じた倫理的なデータ収集の確保。
• 多様な地理的地域におけるモデル性能の評価を行い、地理的バイアスの影響を最も受けるオブジェクトクラスの特定。
• GeoDE のような小規模で厳選されたデータセットでさえ、訓練に使用することでモデルの汎化性能を顕著に向上させられることの実証。

提案手法

• GeoDE は Appen を通じた報酬付きのクラウドソーシングにより収集され、参加者には自らの地域環境で特定のオブジェクトクラスを撮影するよう指示された。
• 6 つの地域（アフリカ、アメリカ、東アジア、ヨーロッパ、東南アジア、西アジア）に均等に配分することで、地理的バランスを確保した。
• すべての画像は手動でアノテーションおよび検証され、クラスの正確性と一貫性が保証された。顔やその他の PII を含む画像は一切含まれない。
• すべての画像について著作権が確保され、貢献者には適正な報酬が支払われた。
• データセットは、地域別性能を測定する評価用データセットとして、およびモデルの汎化性能を向上させるための訓練データ拡張として使用された。
• 性能評価は、GeoDE のテストスプリットおよび DollarStreet における正確度と平均適合度（AP）を用い、ImageNet や他のベースラインで訓練されたモデルと比較した。

実験結果

リサーチクエスチョン

• RQ1 地理的にバランスの取れたデータセット上で評価した場合、モデルの性能は異なる地理的地域でどのように変化するか？
• RQ2 GeoDE を訓練データに含めることで、代表が不十分な地域におけるモデルの汎化性能はどの程度向上するか？
• RQ3 ウェブスクレイピングと比較して、クラウドソーシングによる収集手法は、画像の分布とモデル性能にどのような影響を与えるか？
• RQ4 どのオブジェクトクラスが、地域別 GeoDE データで訓練された際に最も大きな性能向上を示すか？
• RQ5 GeoDE のような小規模で倫理的な収集手法を用いたデータセットが、より大きなウェブスクレイピングデータセットを上回る性能を示せるか？

主な発見

• ImageNet の訓練に GeoDE のデータを追加したことで、DollarStreet ベンチマークで 9.0%、GeoDE テストセットで 20.9% の正確度向上が達成された。
• GeoDE で訓練されたモデルは、アフリカ、東アジア、東南アジアでヨーロッパよりも相対的に大きな性能向上を示し、地域固有のデータがもたらす恩恵が明確に確認された。
• 『スパices』『ごみ箱』『清掃用具』『ゴミ箱』といったオブジェクトで、複数の地域で平均適合度（AP）の最大上昇が観察された。
• GeoDE のデータ量が増加しても性能向上の飽和は見られず、より多様な地域データを追加することでさらなる改善が可能であることが示唆された。
• GeoDE からの画像は、ウェブスクレイピングによるデータセットとは明確に異なる特徴分布を示しており、収集手法そのものがモデルの汎化性能に影響を与えることがわかった。
• 地域的およびクラス別のバランスの取れた分布に加え、倫理的な調達手法を採用したため、地理的バイアスを低減する目的でウェブスクレイピングデータセットの代替として有効である。