[논문 리뷰] DMLR: Data-centric Machine Learning Research -- Past, Present and Future

Luis Oala, Manil Maskey외 36명|TU/e Research Portal|2023. 11. 21.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 인프라, 데이터셋, 협업 생태계를 통해 데이터 중심 기계학습(DMLR)을 발전시키기 위한 공동으로 이끄는 프레임워크를 제안한다. 과거의 주요 성과, Croissant 및 DataPerf와 같은 현재의 주요 사업, 그리고 과학적, 사회적, 산업적 응용 분야에서 데이터 품질, 상호운용성, 영향력 향상을 위해 지속적인 공동체 참여를 촉구한다.

ABSTRACT

Drawing from discussions at the inaugural DMLR workshop at ICML 2023 and meetings prior, in this report we outline the relevance of community engagement and infrastructure development for the creation of next-generation public datasets that will advance machine learning science. We chart a path forward as a collective effort to sustain the creation and maintenance of these datasets and methods towards positive scientific, societal and business impact.

연구 동기 및 목표

• 기계학습에서 데이터 작업의 역할이 역사적으로 과소평가된 점을 시정하기 위해 데이터 중심 연구를 핵심 과학적 과제로 삼는 것.
• 공동체 참여와 공유 인프라를 통해 공공 데이터셋 제작 및 유지보수를 위한 지속 가능한 생태계를 구축하는 것.
• 표준화된 형식과 벤치마크를 통해 데이터 상호운용성, 수정 가능성, 협업의 장벽을 줄이는 것.
• 고품질 데이터 정제 및 재사용을 향한 인센티브를 조정하여 장기적인 과학적 및 사회적 영향력을 창출하는 것.
• 모델 중심 접근 방식과 보완적으로 데이터 중심 기계학습을 향후 AI 발전의 핵심 기둥으로 위치시키는 것.

제안 방법

• ICML 2023에서 개최된 DMLR 워크숍의 첫 번째 회의 및 이전 공동체 회의의 통찰을 종합하여 DMLR의 현재 상태를 분석한다.
• 표준화된 데이터 형식인 Croissant을 포함한 공동체 주도의 데이터 인프라 개발을 중심으로 한 프레임워크를 제안한다.
• 데이터셋과 데이터 중심 알고리즘을 체계적으로 평가하기 위한 공동체 주도의 벤치마크 세트인 DataPerf를 도입한다.
• Kaggle, HuggingFace, OpenML 및 Lance와 같은 기존 플랫폼과 오픈소스 도구를 활용하여 데이터 접근성과 성능을 향상시킨다.
• 공유 거버넌스 모델과 오픈소스 기여를 통해 협업 기반의 데이터 정제를 촉진한다.
• 프롬프트 기반 개발 및 자동화된 데이터 검증 도구를 통한 워크플로우 통합을 통해 데이터 중심 실천을 장려한다.

실험 결과

연구 질문

• RQ1 어떻게 데이터 중심 기계학습 연구를 지속 가능한 과학적 과제로 정착시킬 수 있는가?
• RQ2 ML 공동체 간의 데이터 상호운용성과 재사용성을 향상시키기 위해 필요한 인프라와 표준은 무엇인가?
• RQ3 공동체 참여와 공유 소유 모델은 공공 데이터셋의 품질과 수명을 어떻게 향상시킬 수 있는가?
• RQ4 데이터 중심 기계학습 방법과 데이터셋을 평가하는 데 가장 효과적인 벤치마크와 평가 지표는 무엇인가?
• RQ5 ML 연구의 인센티브는 어떻게 재조정되어야 하며, 모델 혁신만큼 데이터 정제와 품질을 높게 평가하게 할 수 있는가?

주요 결과

• 논문은 모델 개발이 데이터 정제보다 우선시되는 경향으로 인해 지속적인 불균형이 존재함을 밝혀내며, MNIST의 전신으로서의 기초적 데이터 수집 작업의 저조한 인용 수를 예로 들었다.
• ImageNet과 CIFAR와 같은 성공 사례는 고품질이고 철저히 정제된 데이터셋이 기계학습 분야에서 획기적인 진전을 이끌 수 있음을 보여준다.
• Croissant과 같은 신규 표준과 DataPerf와 같은 벤치마크 도구는 데이터 형식을 통합하고 데이터 중심 방법의 재현 가능성을 평가하는 데 핵심적이다.
• Kaggle, HuggingFace, OpenML와 같은 공동체 플랫폼은 데이터 공유와 협업의 사실상의 허브가 되었지만, 데이터 수정 가능성과 호환성 문제는 여전히 해결되지 않았다.
• 프롬프트 기반 개발 및 자동화된 데이터 검증과 같은 데이터 중심 실천의 ML 워크플로우 통합은 연구 속도를 가속화하고 모델의 강건성을 향상시킬 수 있다.
• 장기적인 과학적, 사회적, 비즈니스적 영향력을 달성하기 위해 데이터셋 제작 및 유지보수에 대한 공동체 주도의 접근 방식이 필수적이다.