[논문 리뷰] Mitigating Dataset Harms Requires Stewardship: Lessons from 1000 Papers

Kenny Peng, Arunesh Mathur외 1명|arXiv (Cornell University)|2021. 08. 06.

Face recognition and analysis참고 문헌 71인용 수 8

한 줄 요약

이 논문은 LFW, MS-Celeb-1M, DukeMTMC 세 가지 고영향력 있는 얼굴 및 인물 인식 데이터셋의 윤리적 라이프사이클을 분석하며, 약 1,000편의 인용 논문을 검토한다. 연구 결과, 데이터셋 환수, 라이선스, 파생 모델이 광범위한 데이터 접근성과 약한 집행으로 인해 손해를 완화하지 못함을 확인하였으며, 데이터셋 라이프사이클 전반에 걸쳐 창작자, 사용자, 기관 간 분산된 책임을 통해 지속적인 관리가 필요하다고 주장한다.

ABSTRACT

Machine learning datasets have elicited concerns about privacy, bias, and unethical applications, leading to the retraction of prominent datasets such as DukeMTMC, MS-Celeb-1M, and Tiny Images. In response, the machine learning community has called for higher ethical standards in dataset creation. To help inform these efforts, we studied three influential but ethically problematic face and person recognition datasets -- Labeled Faces in the Wild (LFW), MS-Celeb-1M, and DukeMTM -- by analyzing nearly 1000 papers that cite them. We found that the creation of derivative datasets and models, broader technological and social change, the lack of clarity of licenses, and dataset management practices can introduce a wide range of ethical concerns. We conclude by suggesting a distributed approach to harm mitigation that considers the entire life cycle of a dataset.

연구 동기 및 목표

• 기계학습 데이터셋의 윤리적 해가 초기 생성 이후에도 지속되는 방식을 이해하는 것.
• 데이터셋 환수, 라이선스, 파생 모델의 장기적 영향이 윤리적 위험에 어떻게 작용하는지 조사하는 것.
• 데이터셋 문서화, 인용 관행, 추적 메커니즘의 체계적 결함를 규명하는 것.
• 데이터셋 생성을 넘어서 윤리적 책임을 확장하는 분산된 관리 모델을 제안하는 것.
• 전체 라이프사이클 동안 데이터셋 피해를 완화하기 위한 정책 및 커뮤니티 관행을 안내하는 것.

제안 방법

• LFW, MS-Celeb-1M, DukeMTMC를 인용한 1,000편의 논문을 종단적 분석하여, 데이터셋 사용, 파생품, 사전 학습 모델에 중점을 두었다.
• 모체 데이터셋과 그 파생품의 수명 주기를 매핑하였으며, 주석 처리된, 가공된, 모델 기반 변형을 포함하였다.
• 특히 비상업적 사용에 대한 라이선스의 집행 가능성과 일관성을 평가하였다.
• GitHub에서 사전 학습 모델을 추적하여 라이선스 조건 준수 및 생산적 사용 여부를 평가하였다.
• 기술적 발전과 사회적 이해의 변화로 인해 윤리적 우려가 시간이 지남에 따라 어떻게 변화하는지 분석하였다.
• 창작자, 사용자, 프로그램 위원회, IRB(연구윤리위원회)가 참여하는 데이터셋 관리 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 데이터셋 환수가 윤리적으로 문제시되는 데이터의 계속된 사용을 얼마나 효과적으로 방지하는가?
• RQ2 파생 데이터셋과 모델은 원본 데이터셋을 초월해 어떤 새로운 윤리적 위험을 초래하는가?
• RQ3 라이선스는 데이터셋의 비윤리적 또는 상업적 사용을 얼마나 효과적으로 제한하는가?
• RQ4 기술적 및 사회적 변화는 시간이 지남에 따라 데이터셋의 윤리적 특성에 어떻게 영향을 미치는가?
• RQ5 현재의 데이터셋 인용, 문서화, 추적 관행의 주요 결함는 무엇인가?

주요 결과

• 공식적인 환수 조치에도 불구하고, MS-Celeb-1M과 DukeMTMC 데이터는 널리 접근 가능하고 연구에서 계속 사용되고 있어, 환수만으로는 피해를 완화하기에 부족하다는 점을 시사한다.
• 생산적 사용을 가능하게 하거나 새로운 주석을 도입하는 파생 데이터셋과 모델은 독특하고 종종 다루지 않은 윤리적 위험을 초래한다.
• MS-Celeb-1M와 같은 데이터셋을 규율하는 라이선스는 일관성 없이 집행되었으며, 데이터셋을 기반으로 학습된 모델을 포함한 21개 GitHub 레포지토리 중 단 3개만 비상업적 사용을 명시적으로 제한하였다.
• 기술적 발전으로 인해 LFW와 ImageNet과 같은 데이터셋이 새로운 생산적 응용 분야로 확장되며, 초기 생성 시 존재하지 않았던 감시 및 편향과 같은 윤리적 우려가 악화되었다.
• 현재의 인용 및 문서화 관행은 지속적이고 접근 가능한 메타데이터를 유지하지 못하여, 데이터셋의 기원 추적이나 장기적 영향 평가가 어려운 상황이다.
• 연구윤리위원회(IRB)는 인간 대상 연구의 좁은 정의와 후속 사회적 피해 평가 금지 조항으로 인해 데이터셋 윤리 규제에 부적합하다.