[論文レビュー] Does Object Recognition Work for Everyone?

Terrance DeVries, Ishan Misra+2 more|arXiv (Cornell University)|Jun 6, 2019

Visual Attention and Saliency Detection参考文献 40被引用数 101

ひとこと要約

本論文は公開されている物体認識システムをDollar Streetデータセットで評価し、国別および所得レベル間で大きな精度ギャップがあることを示しており、項目の外観と文脈の差異が原因である。よりグローバルに代表性のある多言語モデルの必要性を示唆している。

ABSTRACT

The paper analyzes the accuracy of publicly available object-recognition systems on a geographically diverse dataset. This dataset contains household items and was designed to have a more representative geographical coverage than commonly used image datasets in object recognition. We find that the systems perform relatively poorly on household items that commonly occur in countries with a low household income. Qualitative analyses suggest the drop in performance is primarily due to appearance differences within an object class (e.g., dish soap) and due to items appearing in a different context (e.g., toothbrushes appearing outside of bathrooms). The results of our study suggest that further work is needed to make object-recognition systems work equally well for people across different countries and income levels.

研究の動機と目的

• 現在の物体認識システムが国や所得レベルで等しく機能しているかを評価する。
• 家庭用品の認識における性能差の主な原因を特定する。
• 多様で実世界の画像を用いて、所得と地理的地域間の精度ギャップを定量化する。
• 国を跨いだ公正性を向上させるための潜在的な方針を提案する。

提案手法

• Azure、Clarifai、Google Cloud Vision、Amazon Rekognition、IBM Watson の5つのクラウドビジョンサービスに加え、Tencent ML Imagesで訓練されたResNet-101モデルを評価する。
• 54カ国、264世帯にわたる117種の家庭用品クラスを含むDollar Streetデータセットを用い、上位5予測の人手注釈による真値（accuracy@5）を ground truthとして用いる。
• 所得（PPP調整）と国の関数として精度を分析する。所得階級間のサンプルサイズを制御する。
• 差異の原因を調査する：地理的な標本抽出バイアスと言語/ベース言語のデータ収集の影響。
• 国別マップを含む補足分析と、所得と場所を分離するためのインドのサブセットを提供する。

実験結果

リサーチクエスチョン

• RQ1 画像の出身国と家庭の所得によって物体認識の精度はどう変化するか？
• RQ2 精度の不一致を生み出す主な要因は何か（同一クラス内の外観、文脈、データセットバイアスなど）？
• RQ3 複数の公開クラウドシステムは、クロスカントリー/所得ギャップに類似した認識の差を示すか？
• RQ4 地理的・所得に関連する性能差を緩和する戦略は何か（例：地理ベースのリサンプリング、多言語トレーニング）？

主な発見

• 所得別の平均精度差：月収US$50未満の世帯のアイテムは、US$3,500/月以上の世帯のアイテムより約10ポイント低い。
• 地理的差は大きく、米国の精度はソマリアやブルキナファソより約15–20ポイント高い。
• 差異はクラス内の外観の違い（例：dish soap）と、異なる文脈で出現するアイテム（例：歯ブラシがバスルーム外にある場合）によって生じている。
• 結果は6つのシステム全体で一貫している（5つのクラウドサービスとResNet-101モデル）。
• 地理と所得の両方が性能の推進要因であり、インドのみのサブセットでも単一国内で所得関連の精度傾向が見られる。