[논문 리뷰] A domain-specific language for describing machine learning datasets

Joan Giner-Miguelez, Abel Gómez외 1명|arXiv (Cornell University)|2022. 07. 05.

Scientific Computing and Data Management참고 문헌 25인용 수 4

한 줄 요약

이 논문은 기계 학습 데이터셋을 공식적으로 기술하기 위한 도메인 특화 언어(DSL)를 소개한다. 이는 데이터의 구조, 데이터 기원, 편향 및 공정성과 같은 사회적 우려 사항을 포괄한다. Visual Studio Code 플러그인으로 구현된 이 DSL은 기계가 읽을 수 있는 데이터셋 문서화를 가능하게 하여 자동 분석, 데이터셋 비교, 기계 학습 연구의 재현 가능성 향상에 기여한다.

ABSTRACT

Datasets play a central role in the training and evaluation of machine learning (ML) models. But they are also the root cause of many undesired model behaviors, such as biased predictions. To overcome this situation, the ML community is proposing a data-centric cultural shift where data issues are given the attention they deserve, and more standard practices around the gathering and processing of datasets start to be discussed and established. So far, these proposals are mostly high-level guidelines described in natural language and, as such, they are difficult to formalize and apply to particular datasets. In this sense, and inspired by these proposals, we define a new domain-specific language (DSL) to precisely describe machine learning datasets in terms of their structure, data provenance, and social concerns. We believe this DSL will facilitate any ML initiative to leverage and benefit from this data-centric shift in ML (e.g., selecting the most appropriate dataset for a new project or better replicating other ML results). The DSL is implemented as a Visual Studio Code plugin, and it has been published under an open source license.

연구 동기 및 목표

• 표준화되고 공식적인 기계 학습 데이터셋 문서화의 부족을 해결하여 재현 가능성과 공정성 향상을 방해하는 문제를 해결한다.
• 자연어 기반 문서화(예: Datasheets for Datasets)의 한계를 극복하기 위해 기계가 처리할 수 있는 데이터셋 기술을 가능하게 한다.
• 사회적 영향, 품질 지표, 기원 정보를 포함한 데이터셋 메타데이터를 형식화하여 데이터 중심 기계 학습 관행을 지원한다.
• 모델 기반 엔지니어링 기법을 활용해 자동 분석, 비교, 데이터셋 선택을 가능하게 한다.
• 구조화된 데이터셋 요구사항 기반으로 검색 및 탐색이 가능한 미래의 데이터셋 마켓플레이스 조성에 기여한다.

제안 방법

• 데이터 구조, 기원, 품질 지표, 사회적 우려 사항을 위한 구조화된 문법을 갖춘 도메인 특화 언어(DSL)를 설계한다.
• Visual Studio Code 플러그인으로 DSL를 구현하여 문법 강조, 검증, 자동 완성 등 완전한 언어 지원을 제공한다.
• 모델 기반 엔지니어링(MDE) 원칙을 적용하여 데이터셋 기술을 일급 모델로 간주하고 기존 MDE 도구를 활용해 조작할 수 있도록 한다.
• 데이터셋 비교, 품질 검증, DSL 모델에서 문서화/코드 생성 등의 운영을 지원한다.
• 불확실한 데이터 속성 또는 기원 정보를 표현하기 위해 불확실성 모델링을 통합한다.
• 미래의 확장성을 고려해 기계 학습 모델과 전체 기계 학습 파이프라인을 기술할 수 있도록 계획한다.

실험 결과

연구 질문

• RQ1 도메인 특화 언어(DSL)는 기계 학습 데이터셋의 핵심 요소인 구조, 기원, 사회적 영향을 어떻게 형식화할 수 있는가?
• RQ2 자연어 지침과 비교해 DSL이 데이터셋 문서화의 완전성과 기계 가독성에 얼마나 기여하는가?
• RQ3 구조화된 모델로 데이터셋을 표현함으로써 어떤 자동화된 운영(예: 비교, 검색, 검증)이 가능해지는가?
• RQ4 데이터셋 메타데이터의 불확실성(예: 모호한 기원 또는 품질)은 DSL에서 어떻게 공식적으로 표현될 수 있는가?
• RQ5 DSL은 미래의 데이터셋 마켓플레이스 조성 또는 기계 학습 연구의 재현 가능성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• DSL은 자연어 문서화의 범위를 초월해 핵심 데이터셋 차원—구조, 기원, 품질 지표, 사회적 우려 사항—을 성공적으로 모델링한다.
• 기존 데이터셋에 대한 수작업 분석을 통해 문서화의 심각한 격차가 드러났다. 예를 들어 통계적 요약 누락, 기원 정보 불완전 등으로, DSL이 이를 식별하고 형식화하는 데 기여할 수 있다.
• DSL은 기계가 읽을 수 있는 데이터셋 기술을 가능하게 하여 자동 검증, 비교, 다양한 데이터셋 간 검색을 위한 길을 열었다.
• VS Code 플러그인으로 구현된 DSL은 데이터셋 저자에게 실용적인 지원을 제공하며, 최신 IDE 기능을 통합해 사용성 향상을 이룬다.
• DSL의 모델 기반 기반은 향후 확장성(예: 불확실성 모델링, 사용권, 기계 학습 모델 기술 통합 등)을 가능하게 한다.
• 초기 평가 결과, DSL이 기존 데이터셋의 누락되거나 일관성 없는 정보를 드러내어 더 나은 문서화 관행을 유도하는 데 기여하는 것으로 확인되었다.