[논문 리뷰] The Dataset Nutrition Label: A Framework To Drive Higher Data Quality Standards

Sarah Holland, Ahmed Hosny외 3명|arXiv (Cornell University)|2018. 05. 09.

Nutritional Studies and Diet참고 문헌 21인용 수 111

한 줄 요약

데이터세트 영양 라벨(Dataset Nutrition Label)은 AI 모델 개발 전에 데이터 품질을 평가하기 위한 질적 및 양적 모듈의 유연하고 표준화된 프레임워크를 제공하며, ProPublica Dollars for Docs 데이터세트에 대한 오픈 소스 프로토타입으로 시연됩니다.

ABSTRACT

Artificial intelligence (AI) systems built on incomplete or biased data will often exhibit problematic outcomes. Current methods of data analysis, particularly before model development, are costly and not standardized. The Dataset Nutrition Label (the Label) is a diagnostic framework that lowers the barrier to standardized data analysis by providing a distilled yet comprehensive overview of dataset "ingredients" before AI model development. Building a Label that can be applied across domains and data types requires that the framework itself be flexible and adaptable; as such, the Label is comprised of diverse qualitative and quantitative modules generated through multiple statistical and probabilistic modelling backends, but displayed in a standardized format. To demonstrate and advance this concept, we generated and published an open source prototype with seven sample modules on the ProPublica Dollars for Docs dataset. The benefits of the Label are manyfold. For data specialists, the Label will drive more robust data analysis practices, provide an efficient way to select the best dataset for their purposes, and increase the overall quality of AI models as a result of more robust training datasets and the ability to check for issues at the time of model development. For those building and publishing datasets, the Label creates an expectation of explanation, which will drive better data collection practices. We also explore the limitations of the Label, including the challenges of generalizing across diverse datasets, and the risk of using "ground truth" data as a comparison dataset. We discuss ways to move forward given the limitations identified. Lastly, we lay out future directions for the Dataset Nutrition Label project, including research and public policy agendas to further advance consideration of the concept.

연구 동기 및 목표

• 불완전한 데이터로 인해 편향된 AI 결과를 방지하기 위한 표준화된 데이터 분석의 필요성 촉진.
• 도메인과 데이터 유형에 걸쳐 적용할 수 있는 유연한 프레임워크를 정의한다.
• 모델 개발 전에 데이터세트 구성요소에 대한 간추린하고 표준화된 개요를 제공한다.
• 오픈 소스 프로토타입으로 개념을 시연하고 데이터 수집 및 분석에 대한 함의를 논의한다.

제안 방법

• 질적 및 양적 모듈을 결합한 진단 프레이마크로 Dataset Nutrition Label을 제안한다.
• Label 모듈을 생성하기 위해 다수의 통계적 및 확률 모델링 백엔드를 통합한다.
• 해석 용이성을 위해 표준화되고 도메인에 구애받지 않는 형식으로 결과를 표시한다.
• 일곱 개의 샘플 모듈이 구현된 오픈 소스 프로토타입을 공개한다.
• 제한점, 다양한 데이터세트에 대한 일반화 가능성, 그리고 향후 방향을 논의한다.

실험 결과

연구 질문

• RQ1 AI 작업에 대한 데이터세트 품질과 적합성을 요약하기 위해 어떻게 유연하고 도메인에 구애받지 않는 프레임워크를 설계할 수 있는가?
• RQ2 어떤 질적·양적 모듈과 백엔드의 조합이 데이터 품질 문제를 가장 잘 전달하는가?
• RQ3 Label을 데이터세트 선택 및 모델 개발에 활용할 때의 영향과 한계는 무엇인가?

주요 결과

• Label은 데이터 전문가를 위한 보다 강력한 데이터 분석 관행을 이끄는 위치에 있다.
• 프레임워크는 데이터 게시자에게 설명의 명시적 기대치를 만들어 데이터 수집 관행을 개선할 수 있다.
• Label은 특정 모델링 필요 및 품질 고려사항에 맞춘 더 효율적인 데이터세트 선택을 가능하게 한다.
• 오픈 소스 프로토타입은 개념을 시연하고 채택 및 커뮤니티 기여를 지원한다.
• 제한점으로는 다양한 데이터세트 전반에 걸친 일반화의 어려움과 기준으로 사용할 실제 데이터(ground truth)를 참조로 사용하는 것과 관련된 위험이 있다.