[논문 리뷰] OpenDataLab: Empowering General Artificial Intelligence with Open Datasets

Conghui He, Wei Li외 4명|arXiv (Cornell University)|2024. 06. 04.

Scientific Computing and Data Management인용 수 4

한 줄 요약

OpenDataLab는 다중모달 AI 데이터셋을 표준화하기 위해 새로운 데이터셋 기술 설명 언어(DSDL)를 사용하는 통합 오픈 데이터 플랫폼을 도입하여 효율적인 데이터 탐색, 고속 다운로드 및 지능형 레이블링을 가능하게 한다. 다양한 데이터셋과 도구를 유기적인 파이프라인으로 통합함으로써 데이터 준비 효율성을 30% 향상시켜 인공통합지능(AGI) 연구를 가속화한다.

ABSTRACT

The advancement of artificial intelligence (AI) hinges on the quality and accessibility of data, yet the current fragmentation and variability of data sources hinder efficient data utilization. The dispersion of data sources and diversity of data formats often lead to inefficiencies in data retrieval and processing, significantly impeding the progress of AI research and applications. To address these challenges, this paper introduces OpenDataLab, a platform designed to bridge the gap between diverse data sources and the need for unified data processing. OpenDataLab integrates a wide range of open-source AI datasets and enhances data acquisition efficiency through intelligent querying and high-speed downloading services. The platform employs a next-generation AI Data Set Description Language (DSDL), which standardizes the representation of multimodal and multi-format data, improving interoperability and reusability. Additionally, OpenDataLab optimizes data processing through tools that complement DSDL. By integrating data with unified data descriptions and smart data toolchains, OpenDataLab can improve data preparation efficiency by 30\%. We anticipate that OpenDataLab will significantly boost artificial general intelligence (AGI) research and facilitate advancements in related AI fields. For more detailed information, please visit the platform's official website: https://opendatalab.com.

연구 동기 및 목표

• 다양한 형식, 모odal리티 및 출처 간의 AI 데이터셋 간의 분산성과 호환성 문제 해결
• AI 연구에서 효율적인 데이터 활용을 방해하는 데이터 사각지대와 상호운용성 문제 극복
• 다양한 AI 작업 간의 원활한 데이터 접근, 주석 처리 및 통합을 위한 통합 플랫폼 제공
• 사전 훈련, 미세조정 및 평가를 포함한 대규모 모델 개발의 전 주기 지원
• 투명성과 법적 준수를 보장하기 위해 표준화되고 확장 가능한 데이터셋 기술 설명 및 라이선스 프레임워크 구축

제안 방법

• 다중모달 및 다중포맷 데이터셋 간의 메타데이터 표현을 표준화하기 위해 차세대 데이터셋 기술 설명 언어(DSDL) 도입
• 데이터 소스, 데이터 파이프라인, 데이터 도구, 사용자 서비스 및 클라이언트 인터페이스 전용 레이어를 포함한 다층 아키텍처 플랫폼 구현
• 기계학습 및 AGI 기반의 지능형 레이블링 도구(LabelU 및 LabelLLM)를 활용하여 주석 처리의 효율성과 정확도 향상
• 최적화된 데이터 파이프라인 서비스와 사용자 우아한 GUI, CLI, SDK 스택을 통해 고속 데이터 검색 및 다운로드 기능 제공
• CC, ODC, CDLA 등 다양한 오픈 라이선스를 지원하고 데이터 기원 및 준수를 위한 완전한 메타데이터 추적성 유지
• 6B 장면, 8억 개의 영상 클립, 1T 토큰, 100만 개의 3D 모델, 2만 시간 분량의 오디오 포함 30개 이상의 형식에서 6,500개 이상의 오픈 데이터셋 통합

실험 결과

연구 질문

• RQ1 표준화된 데이터 기술 설명 언어는 이질적인 AI 데이터셋 간의 상호운용성과 재사용성에 어떻게 기여하는가?
• RQ2 지능형 데이터 툴체인은 대규모 AI 모델 개발에서 데이터 준비 시간을 얼마나 줄일 수 있는가?
• RQ3 다양한 데이터 소스와 도구를 통합하는 데 있어 효율적인 통합을 가능하게 하는 아키텍처 설계는 무엇인가?
• RQ4 OpenDataLab은 데이터 접근성, 메타데이터 표준화 및 다중모달 지원 측면에서 기존 플랫폼보다 어떻게 뛰어나게 되는가?
• RQ5 통합된 데이터 관리 방식은 AGI 연구의 확장성과 재현 가능성에 어떤 영향을 미치는가?

주요 결과

• OpenDataLab는 30개 이상의 형식에서 6,500개 이상의 오픈 데이터셋을 통합하여 50개 이상의 AI 작업 유형을 지원하며 총 80TB 이상의 데이터를 제공한다.
• 표준화된 DSDL과 데이터 확보 및 레이블링을 위한 지능형 툴체인 덕분에 데이터 준비 효율성이 30% 향상된다.
• DSDL은 다중모달 데이터 간 일관되고 기계가 읽을 수 있는 메타데이터 표현을 가능하게 하여 다중모달 및 다중작업 간 데이터 통합을 향상시킨다.
• OpenDataLab는 CC, ODC, CDLA를 포함한 포괄적인 라이선스 투명성을 제공하여 법적 준수와 데이터 기원 확보를 보장한다.
• Kaggle, Hugging Face, ModelScope와 같은 기존 플랫폼에 비해 다중모달 데이터 지원, 데이터 시각화 및 메타데이터 표준화 측면에서 뛰어난 성능을 보인다.
• LabelU 및 LabelLLM 도구의 통합은 특히 복잡한 다중모달 및 대화 기반 레이블링 작업에서 주석 처리 정확도와 효율성을 크게 향상시킨다.