[論文レビュー] Predictive Inequity in Object Detection

Benjamin Wilson, Judy Hoffman+1 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Neural Network Applications参考文献 21被引用数 154

ひとこと要約

要約: 本論文は、最先端の歩行者検出器が Fitzpatrick skin types の間で予測性能に不均衡を示すかどうかを検討し、BDD100K に skin tone ラベルを注釈付けし、モデル、データソース、トレーニング損失を横断する予測的不平等を分析します。

ABSTRACT

In this work, we investigate whether state-of-the-art object detection systems have equitable predictive performance on pedestrians with different skin tones. This work is motivated by many recent examples of ML and vision systems displaying higher error rates for certain demographic groups than others. We annotate an existing large scale dataset which contains pedestrians, BDD100K, with Fitzpatrick skin tones in ranges [1-3] or [4-6]. We then provide an in-depth comparative analysis of performance between these two skin tone groupings, finding that neither time of day nor occlusion explain this behavior, suggesting this disparity is not merely the result of pedestrians in the 4-6 range appearing in more difficult scenes for detection. We investigate to what extent time of day, occlusion, and reweighting the supervised loss during training affect this predictive bias.

研究の動機と目的

• 大規模な運転データセットで Fitzpatrick skin types 1-3 (LS) と 4-6 (DS) の歩行者間の予測的不平等を測定する。
• 観察された不均衡が時間帯、遮蔽、または損失の優先順位付けで説明されるかを評価する。
• 複数のモデルアーキテクチャとトレーニングデータソースを比較して、不平等の頑健性を評価する。
• 損失ウェ weighting を介した簡易的な是正策が予測的不平等を減らせるかを調査する。

提案手法

• Mechanical Turk を用いて BDD100K の歩行者に Fitzpatrick skin types を注釈付けし、LS および DS グループを作成する。
• モデル横断で LS と DS の不均衡を定量化するため、BDD100K バリデーションセットで AP、AP50、AP75 指標を用いる。
• MS COCO または BDD100K のトレーニングからの重みを用いた複数の背骨（Faster R-CNN、Mask R-CNN）とアーキテクチャを評価する。
• 遮蔽された歩行者と非遮蔽歩行者、日中画像と夜間画像を分離して、不平等の原因を分析する。
• 検出器の分類損失における損失ウェ weighting をテストして LS/DS のギャップを縮小する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検 detectors は BDD100K で LS (1-3) の歩行者に対して DS (4-6) より高い予測精度を示すか。
• RQ2 不平等は遮蔽、時間帯、または大多数グループに偏った損失関数によるものか。
• RQ3 トレーニングデータの選択（MS COCO vs BDD100K）やモデルアーキテクチャは予測的不平等を増幅または緩和するか。
• RQ4 教師あり損失を再重み付けすることで全体の性能を損なうことなく LS/DS のパフォーマンスギャップを縮小できるか。

主な発見

• 検出器は一貫して LS の AP が DS より高いことを示し、最も大きなギャップは AP75（厳密な局在化）である。
• 不均衡はモデル、データソース（MS COCO vs BDD100K）、アーキテクチャ（Faster R-CNN、Mask R-CNN）を横断して継続する。
• 遮蔽の除去は両グループの性能を改善するが、LS/DS ギャップを完全には解消しない。
• 時間帯だけでは不平等を説明できない；日中の結果は LS>DS、夜間の結果は DS のサンプルが小さくて結論が曖昧。
• トレーニング時に DS の損失を再重み付けすることで、いくつかの設定で DS ギャップを縮小できることが示唆され、損失の優先順位付けが予測的不平等に寄与していることを示唆する。