[論文レビュー] Age and gender bias in pedestrian detection algorithms

Martim Brandão|arXiv (Cornell University)|Jun 25, 2019

Advanced Neural Network Applications参考文献 11被引用数 14

ひとこと要約

本研究では、子供／大人および男性／女性のラベルを追加した拡張版INRIA Person Datasetを用いて、最先端の歩行者検出アルゴリズムにおける年齢および性別バイアスを評価した。24のトップパフォーマンスを示す手法すべてが、子供の誤検出率が顕著に高く、平均で0.04百分率ポイント高いことが判明したが、これは統計的に有意な差である。一方、性別による性能差は有意ではなかった。

ABSTRACT

Pedestrian detection algorithms are important components of mobile robots, such as autonomous vehicles, which directly relate to human safety. Performance disparities in these algorithms could translate into disparate impact in the form of biased accident outcomes. To evaluate the need for such concerns, we characterize the age and gender bias in the performance of state-of-the-art pedestrian detection algorithms. Our analysis is based on the INRIA Person Dataset extended with child, adult, male and female labels. We show that all of the 24 top-performing methods of the Caltech Pedestrian Detection Benchmark have higher miss rates on children. The difference is significant and we analyse how it varies with the classifier, features and training data used by the methods. Algorithms were also gender-biased on average but the performance differences were not significant. We discuss the source of the bias, the ethical implications, possible technical solutions and barriers.

研究の動機と目的

• 最先端の歩行者検出アルゴリズムが、歩行者の年齢および性別に基づいて性能にバイアスを示すかどうかを調査すること。
• アルゴリズムバイアスが自動運転車両における差別の的でない安全結果をもたらす可能性を評価すること。
• 特にデータセットバイアスおよび検出の難易度に関連する、性能格差の根本的原因を分析すること。
• 実世界のロボットシステムにおけるこうしたバイアスの倫理的および技術的影響を評価すること。

提案手法

• 1名のアノテーターを用いて、歩行者バウンディングボックスごとに手動で年齢（子供／大人）および性別（男性／女性）のラベルを追加し、INRIA Person Datasetを拡張した。
• 特定のデモグラフィックグループの性能を分離するために、'無視領域'手法を用いてデータセットのサブセット上でアルゴリズムのパフォーマンスを評価した。
• Caltech Pedestrian Detection Benchmarkで標準的である50%のIoU閾値を用いた平均誤検出率を性能指標として測定した。
• 複数のアルゴリズムにわたるデモグラフィックグループ間の性能差の統計的有意性を確認するため、ウィルコクソン順位和検定を適用した。
• 一貫性および再現可能性を確保するため、Caltech Pedestrian Detection Benchmarkのオープンソース評価コードを用いた。
• 年齢／性別の影響を小バウンディングボックスの影響から分離するため、テストセットの'合理的な'サブセット（近距離視界、最小限の隠蔽）に焦点を当てた分析を行った。

実験結果

リサーチクエスチョン

• RQ1 最先端の歩行者検出アルゴリズムは、大人と比較して子供の誤検出率を高く示すか？
• RQ2 これらのアルゴリズムにおいて、男性と女性の歩行者間で統計的に有意な性能差が存在するか？
• RQ3 観察された年齢バイアスは、データセットの分布、モデルアーキテクチャ、または特徴工学のどの要因に起因しているか？
• RQ4 歩行者検出におけるアルゴリズムバイアスが、自動運転車両における不均等な安全結果をもたらす可能性はどの程度か？
• RQ5 実世界のロボットシステムにおける公平な歩行者検出を達成するための倫理的および技術的障壁は何か？

主な発見

• Caltech Pedestrian Detection Benchmarkでトップパフォーマンスを示した24の手法すべてが、子供の誤検出率が大人よりも高かったが、その差は統計的に有意であった。
• 子供と大人の間の平均誤検出率差は0.04百分率ポイントであり、INRIA/Caltechデータセットで学習した手法では最大0.07ポイントに達した。
• 72%の手法で女性歩行者の誤検出率が男性よりも高かったが、性能差は統計的に有意ではなかった。
• 年齢バイアスは、訓練データに子供が少ないというデータセットの不均衡と、小さなバウンディングボックスおよび動的なポーズによる検出の難易度の両方の組み合わせに起因している可能性が高い。
• 本研究は、アルゴリズムバイアスが物理的に顕著な衝突結果の格差をもたらす可能性があり、子供が自動運転車両によって誤検出されるリスクが高まると示唆している。
• バイアスが存在するにもかかわらず、最高パフォーマンスを示した手法（PCN）は、次に優れた手法よりも子供をより頻繁に検出していたため、アルゴリズム選択には効率性と公平性のトレードオフが存在することが示された。