[論文レビュー] No Classification without Representation: Assessing Geodiversity Issues in Open Data Sets for the Developing World

Shreya Shankar, Yoni Halpern+4 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Image and Video Retrieval Techniques参考文献 5被引用数 175

ひとこと要約

本論文は geo-diversity を ImageNet と Open Images における分析を行い、amerocentric/eurocentric bias とそれが地域間の分類器性能へ与える影響を示す。開発途上国のアプリケーション開発のための geo-representative data sets の必要性を主張する。

ABSTRACT

Modern machine learning systems such as image classifiers rely heavily on large scale data sets for training. Such data sets are costly to create, thus in practice a small number of freely available, open source data sets are widely used. We suggest that examining the geo-diversity of open data sets is critical before adopting a data set for use cases in the developing world. We analyze two large, publicly available image data sets to assess geo-diversity and find that these data sets appear to exhibit an observable amerocentric and eurocentric representation bias. Further, we analyze classifiers trained on these data sets to assess the impact of these training distributions and find strong differences in the relative performance on images from different locales. These results emphasize the need to ensure geo-representation when constructing data sets for use in the developing world.

研究の動機と目的

• 2つの大規模な open image datasets (ImageNet と Open Images) の geo-diversity を評価する。
• これらのデータセットでの学習が、異なる地理的場所の画像に対する分類器の性能にどのように影響するかを評価する。
• 広く使用されているデータセットにおける amerocentric/eurocentric representation biases の存在を示す。
• 開発途上国におけるデータセット構築への含意を論じる。

提案手法

• country-level geo-location proxies を用いて ImageNet と Open Images の geographic distribution を推定する。
• 国別の画像分布を分析し、 representation の不均衡を特定する。
• 両データセットで pretrained Inception V3 model を訓練・評価し、地理的に localized な画像での性能を比較する。
• Crowdsourced and geo-located web-image methods で stress-test データを収集し、地域ごとの分類器の挙動を評価する。
• saliency maps (SmoothGrad) を用いて、誤分類を引き起こす画像領域を検討する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet と Open Images は国ごとに geo-representation biases を示すか。
• RQ2 訓練データの地理的バイアスが非US の画像の分類器性能にどのように影響するか。
• RQ3 region-specific 画像において、衣服や文脈のどちらが誤分類に影響を及ぼすか。
• RQ4 これらのデータセットで訓練された分類器は、異なる地理的地帯で一貫した性能を発揮するか。

主な発見

• Open Images と ImageNet は米国および欧州に偏る傾向が大きく、中国とインドが過小評価されている。
• 北米と欧州で最も多く代表される6つの国のサンプルが大部分を占める。
• これらのデータセットで訓練された分類器は region-specific な画像を誤分類することが多く、非 US 画像の信頼度が低い。
• サリエンシー・マップは、いくつかの誤分類で衣服よりも顔領域に依存していることを示している。
• Hyderabad の stress-tested 画像は、両モデルともに低い確率を示すことが多く、地域的な性能差を示唆している。
• 国ごとの性能差は、画像カテゴリ間での非均一な representation を示唆する。