[논문 리뷰] Data Engineering for Everyone

Vijay Janapa Reddi, Greg Diamos외 3명|arXiv (Cornell University)|2021. 02. 23.

Scientific Computing and Data Management참고 문헌 1인용 수 5

한 줄 요약

이 논문은 오픈소스 소프트웨어 운동과 유사한 데이터 엔지니어링 혁신을 주장하며, 대규모로 개방형 데이터셋을 신속하게 생성할 수 있도록 자동화되고 공동으로 기여하는 프레임워크를 제안한다. 2,000편 이상의 인공지능 연구 논문 분석을 통해 78.3%가 개방형 데이터셋에 의존하고 있음을 입증하며, People’s Speech와 1000 Words in 1000 Languages와 같은 사례 연구를 통해 합성 및 자동화된 데이터 생성이 고성능·저비용 데이터셋을 생산할 수 있음을 보여주며, 누구나 접근 가능하고 재현 가능하며 확장 가능한 기계학습 혁신을 가능하게 한다.

ABSTRACT

Data engineering is one of the fastest-growing fields within machine learning (ML). As ML becomes more common, the appetite for data grows more ravenous. But ML requires more data than individual teams of data engineers can readily produce, which presents a severe challenge to ML deployment at scale. Much like the software-engineering revolution, where mass adoption of open-source software replaced the closed, in-house development model for infrastructure code, there is a growing need to enable rapid development and open contribution to massive machine learning data sets. This article shows that open-source data sets are the rocket fuel for research and innovation at even some of the largest AI organizations. Our analysis of nearly 2000 research publications from Facebook, Google and Microsoft over the past five years shows the widespread use and adoption of open data sets. Open data sets that are easily accessible to the public are vital to accelerating ML innovation for everyone. But such open resources are scarce in the wild. So, what if we are able to accelerate data-set creation via automatic data set generation tools?

연구 동기 및 목표

• 기계학습 분야의 점점 악화되는 데이터 부족 문제를 해결하기 위해, 신속하고 확장 가능하며 개방형 데이터셋 생성을 가능하게 한다.
• 오픈소스 소프트웨어 개발과 유사한 도구와 프레임워크를 개발하여 데이터 엔지니어링을 민주화하고, 전용 내부 데이터 파이프라인에 대한 의존도를 줄인다.
• 연구자, 학생, 개발자에게 광범위하게 접근 가능하고 재현 가능하며 고성능의 데이터셋을 제공함으로써 기계학습 혁신을 가속화한다.
• 품질, 라이선스, 윤리적 고려사항 측면에서 개방형 데이터셋 평가를 위한 표준과 지표를 수립하여 신뢰성과 사용 가능성을 확보한다.
• MLCommons, People’s Speech, Speech Commands와 같은 개방형 이니셔티브를 통해 공동 기여 기반 데이터 엔지니어링 생태계를 조성하여 효율적인 데이터 생산을 가능하게 한다.

제안 방법

• 2015~2021년 동안 페이스북, 구글, 마이크로소프트에서 발표한 1,980편의 연구 논문을 분석하여 주요 기계학습 컨퍼런스에서 개방형 데이터셋 사용 현황을 정량화한다.
• 대규모 언어 모델과 음성 합성 기술을 활용해 합성된 레이블이 부여된 텍스트 및 음성 데이터를 생성하는 자동화된 데이터 생성 파이프라인을 개발한다.
• 기존의 개방형 데이터셋(예: Common Voice)과 강제 정렬(Forced Alignment) 도구를 활용해 키워드 스포팅 모델을 위한 말하기 키워드를 자동으로 추출하고 레이블링한다.
• 자동 음성 인식 및 강제 정렬 기법을 적용하여 음성 데이터를 단어 수준의 클립으로 분할함으로써 수동 레이블링을 대체한다.
• 재현 가능성, 버전 관리, 라이선스 검사 기능을 지원하는 데이터 엔지니어링 프레임워크를 구현하여 데이터셋의 품질과 규정 준수 여부를 확보한다.
• MLCommons와 같은 개방형 플랫폼을 통해 공동 기여를 촉진하여 데이터셋의 공동 개발 및 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 주요 AI 기업들이 연구 논문에서 개방형 데이터셋과 전용 데이터셋을 얼마나 활용하고 있는가?
• RQ2 자동화되고 공동 기여 기반인 데이터 엔지니어링 파이프라인은 대규모 고성능 기계학습 데이터셋을 제작하는 데 소요되는 비용과 시간을 크게 줄일 수 있는가?
• RQ3 오픈소스 소프트웨어 개발에서 관찰되는 것과 같은 효율성으로 개방형 데이터셋 생산을 확장하기 위해 필요한 기술적·조직적 프레임워크는 무엇인가?
• RQ4 자동 생성된 데이터셋에서 라이선스, 품질, 윤리적 고려사항을 체계적으로 평가하고 이행할 수 있는 방법은 무엇인가?
• RQ5 학술 기관과 오픈소스 커뮤니티는 기계학습 분야의 핵심 영역으로서의 데이터 엔지니어링 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 2015~2021년 동안 페이스북, 구글, 마이크로소프트에서 발표한 1,980편의 산업 연구 논문 중 78.3%가 개방형 데이터셋을 사용하여, 재현 가능한 연구를 위해 공공 데이터에 의존하고 있음을 입증한다.
• 개방형 데이터셋 사용 비율이 시간이 지남에 따라 증가하고 있어, 공공 데이터에 대한 공동체의 신뢰도와 수용도가 높아지고 있음을 보여준다.
• People’s Speech 및 1000 Words in 1000 Languages 프로젝트에서 사용된 자동화된 데이터 생성 파이프라인은 87,000시간 이상의 레이블이 부여된 음성 데이터를 20,000달러 이내로 생성하여 대규모에서의 비용 효율성을 입증한다.
• 강제 정렬 및 사전 학습된 모델을 활용하면 단어 수준의 오디오 클립을 자동으로 추출할 수 있어, 수동 레이블링 노력이 수십만 배 이상 감소한다.
• 라이선스 및 윤리적 우려는 여전히 핵심 과제이며, CC-0 라이선스 데이터라도 대규모 감시와 같은 민감한 응용 분야에서 오용될 수 있다.
• MLCommons가 주도하는 공동 기여 기반 데이터 엔지니어링 이니셔티브는 지속 가능하고 확장 가능하며 투명한 데이터셋 개발을 위한 실현 가능한 모델로 부상하고 있다.