[논문 리뷰] Large image datasets: A pyrrhic win for computer vision?

Vinay Uday Prabhu, Abeba Birhane|arXiv (Cornell University)|2020. 06. 24.

Ethics and Social Impacts of AI참고 문헌 81인용 수 44

한 줄 요약

이 논문은 ImageNet 및 관련 대규모 비전 데이터셋을 비판적으로 감사하여 데이터 수집, 라벨링 및 프라이버시의 윤리적 위반을 밝히고, 정량적 센서스를 제시하며 감사 주도적 해결책을 제안한다.

ABSTRACT

In this paper we investigate problematic practices and consequences of large scale vision datasets. We examine broad issues such as the question of consent and justice as well as specific concerns such as the inclusion of verifiably pornographic images in datasets. Taking the ImageNet-ILSVRC-2012 dataset as an example, we perform a cross-sectional model-based quantitative census covering factors such as age, gender, NSFW content scoring, class-wise accuracy, human-cardinality-analysis, and the semanticity of the image class information in order to statistically investigate the extent and subtleties of ethical transgressions. We then use the census to help hand-curate a look-up-table of images in the ImageNet-ILSVRC-2012 dataset that fall into the categories of verifiably pornographic: shot in a non-consensual setting (up-skirt), beach voyeuristic, and exposed private parts. We survey the landscape of harm and threats both society broadly and individuals face due to uncritical and ill-considered dataset curation practices. We then propose possible courses of correction and critique the pros and cons of these. We have duly open-sourced all of the code and the census meta-datasets generated in this endeavor for the computer vision community to build on. By unveiling the severity of the threats, our hope is to motivate the constitution of mandatory Institutional Review Boards (IRB) for large scale dataset curation processes.

연구 동기 및 목표

• ImageNet-ILSVRC-2012와 같은 대규모 비전 데이터셋의 윤리적 함의와 사회적 피해를 평가한다.
• 연령, 성별, NSFW 콘텐츠, 클래스 의미론성 및 정확도에 대한 횡단적 센서스를 통해 데이터 거버넌스 문제를 정량화한다.
• LSVD 큐레이션에서의 피해를 완화하기 위한 시정 전략 및 거버넌스 메커니즘을 제안한다.
• 커뮤니티 감사를 가능하게 하기 위해 센서스 데이터셋과 코드의 오픈 소스를 제공한다.

제안 방법

• ImageNet-ILSVRC-2012에서 연령, 성별, NSFW 콘텐츠, 클래스 정확도, 의미론성에 대한 횡단적 모델 기반 센서스를 수행한다.
• ImageNet-ILSVRC-2012 내에서 검증 가능하고 합의가 있는 포르노그래피 또는 비동의 이미지를 식별하기 위한 핸드-큐레이션 조회 표를 만든다.
• 프리트레인 모델(DEX, InsightFace, RetinaFace, ArcFace)을 사용하여 프라이버시 손실, 역검색 위험, 성별 편향 등의 피해를 감사하고 시각화한다.
• 투명성과 재현성을 지원하기 위해 데이터 감사 카드 및 동반 메타데이터(CSV 자산)를 수집한다.
• CV 커뮤니티의 광범위한 감사를 가능하게 하기 위해 코드와 센서스 데이터셋을 오픈 소스로 제공한다.

(a) Class-wise counts of the offensive classes

실험 결과

연구 질문

• RQ1 대규모 비전 데이터셋에는 검증 가능하게 포르노그래피, 비동의 또는 유해한 라벨과 같은 윤리적으로 문제가 되는 이미지가 어느 정도 포함되어 있는가?
• RQ2 ImageNet 및 관련 LSVD에서 파생되는 프라이버시, 동의 및 편향 위험은 무엇인가?
• RQ3 정량적 센서스가 데이터셋 큐레이션의 피해를 완화하기 위한 절차를 어떻게 알 수 있게 하는가?
• RQ4 데이터셋 감사 카드와 같은 거버넌스 및 감사를 통해 LSVD의 투명성과 윤리를 어떻게 개선할 수 있는가?

주요 결과

• ImageNet은 다수의 클래스에서 비동의 및 잠재적으로 착취적 이미지를 포함하고 있으며, 손으로 큐레이션된 결과에서 여성혐오적이고 포르노그래피적 콘텐츠를 식별한다.
• 57개 지표를 61개 클래스 매개변수에 대해 센서싱한 결과는 수, 연령, 성별, NSFW 점수, 의미론성과 관련된 분포를 밝혀 편향과 프라이버시 우려를 강조한다.
• WordNet 기반의 클래스 분류체계 및 라벨링 관행에서 윤리적 위반이 문서화되어 고정관념 및 프라이버시 위험을 확산시킨다.
• 역검색 및 불투명한 데이터셋(예: JFT-300M, Open Images, Tiny Images)은 실제 세계에서의 식별 및 프라이버시 피해를 가능하게 한다.
• 저자들은 지속적인 감사와 LSVD 큐레이션을 위한 IRB의 필요성을 옹호하며, 오픈 소스 데이터셋과 튜토리얼을 제공한다.
• ImageNet에 대한 감사 카드 예시는 데이터셋의 알려진 한계와 관련 위험을 요약한다.

(b) Samples from the class labelled n****r