[論文レビュー] Large image datasets: A pyrrhic win for computer vision?

Vinay Uday Prabhu, Abeba Birhane|arXiv (Cornell University)|Jun 24, 2020

Ethics and Social Impacts of AI参考文献 81被引用数 44

ひとこと要約

本論文は ImageNet および関連する大規模ビジョンデータセットを批判的に監査し、データ調達、ラベリング、プライバシーにおける倫理的違反を明らかにする。定量的な国勢調査を提供し、監査主導の対策を提案する。

ABSTRACT

In this paper we investigate problematic practices and consequences of large scale vision datasets. We examine broad issues such as the question of consent and justice as well as specific concerns such as the inclusion of verifiably pornographic images in datasets. Taking the ImageNet-ILSVRC-2012 dataset as an example, we perform a cross-sectional model-based quantitative census covering factors such as age, gender, NSFW content scoring, class-wise accuracy, human-cardinality-analysis, and the semanticity of the image class information in order to statistically investigate the extent and subtleties of ethical transgressions. We then use the census to help hand-curate a look-up-table of images in the ImageNet-ILSVRC-2012 dataset that fall into the categories of verifiably pornographic: shot in a non-consensual setting (up-skirt), beach voyeuristic, and exposed private parts. We survey the landscape of harm and threats both society broadly and individuals face due to uncritical and ill-considered dataset curation practices. We then propose possible courses of correction and critique the pros and cons of these. We have duly open-sourced all of the code and the census meta-datasets generated in this endeavor for the computer vision community to build on. By unveiling the severity of the threats, our hope is to motivate the constitution of mandatory Institutional Review Boards (IRB) for large scale dataset curation processes.

研究の動機と目的

• ImageNet-ILSVRC-2012 のような大規模ビジョンデータセットの倫理的含意と社会的被害を評価する。
• 年齢、性別、NSFW コンテンツ、クラスの意味論、精度の横断的な国勢調査を通じてデータガバナンスの問題を定量化する。
• LSVD のキュレーションにおける被害を緩和する是正戦略とガバナンス機構を提案する。
• 国勢調査データセットとコードをオープンソース化し、コミュニティ監査と透明性を促進する。

提案手法

• ImageNet-ILSVRC-2012 に対して年齢、性別、NSFW コンテンツ、クラスの精度、意味論性にわたる横断的モデルベース国勢調査を実施する。
• ImageNet-ILSVRC-2012 内の検証可能なポルノ画像または非合意画像を特定するためのルックアップテーブルを手動で作成する。
• 事前学習済みモデル（DEX、InsightFace、RetinaFace、ArcFace）を用いて、プライバシー損失、逆画像検索リスク、ジェンダーバイアスなどの有害事象を監査・可視化する。
• 透明性と再現性を支援するためにデータセット監査カードと付随するメタデータセット（CSV アセット）を作成する。
• コードと国勢調査データセットをオープンソース化して、CV コミュニティによるより広範な監査を可能にする。）

(a) Class-wise counts of the offensive classes

実験結果

リサーチクエスチョン

• RQ1 大規模なビジョンデータセットにはどの程度、倫理的に問題のある画像（検証可能なポルノ、非同意、または有害なラベルなど）が含まれているのか？
• RQ2 ImageNet および関連する LSVD に関連する下流のプライバシー、同意、偏りリスクは何か？
• RQ3 定量的な国勢調査はデータセットキュレーションにおける被害を緩和する手順をどのように導くことができるか？
• RQ4 透明性と倫理を向上させるためのガバナンスおよび監査機構（例：データセット監査カード）は何か？

主な発見

• ImageNet には複数のクラスにおいて非合意または潜在的に搾取的な画像が含まれており、手作業選定の所見では女性蔑視的およびポルノ的内容が特定されている。
• 61 クラスのパラメータに対する57 指標の国勢調査は、件数、年齢、性別、NSFWスコア、意味論性に関連する分布を明らかにし、偏見とプライバシーの懸念を浮き彫りにする。
• 本研究は WordNet ベースのクラス分類体系とラベリング慣行における倫理的違反を記録しており、それがステレオタイプとプライバシーリスクを助長している。
• 逆画像検索と不透明なデータセット（例：JFT-300M、Open Images、Tiny Images）は現実世界での特定とプライバシーへの害を助長する。
• 著者は継続的な監査を促進するオープンソースデータセットとチュートリアルを提供し、LSVD キュレーションのための倫理審査委員会（IRB）の設置を提唱している。
• ImageNet の監査カードの例は、データセットの既知の欠点と関連リスクを要約している。

(b) Samples from the class labelled n****r