[논문 리뷰] Data Readiness Levels

Neil D. Lawrence|arXiv (Cornell University)|2017. 05. 05.

Machine Learning and Data Classification참고 문헌 2인용 수 14

한 줄 요약

이 논문은 기계 학습 및 분석 프로젝트를 위한 데이터의 품질과 준비 상태를 평가하고 소통하기 위한 프레임워크로 데이터 준비도 수준(Data Readiness Levels, DRLs)을 제안한다. 기술 준비도 수준(Technology Readiness Levels, TRLs)을 모델로 삼아, 초기 수집에서 생산 준비까지의 데이터를 A, B, C의 세 단계로 분류하는 3단계 기반의 체계를 사용하며, 데이터 품질 문제를 더 구체적이고 실행 가능한 방식으로 드러내어 프로젝트 기획, 자원 배분, 협업 향상에 기여하고자 한다.

ABSTRACT

Application of models to data is fraught. Data-generating collaborators often only have a very basic understanding of the complications of collating, processing and curating data. Challenges include: poor data collection practices, missing values, inconvenient storage mechanisms, intellectual property, security and privacy. All these aspects obstruct the sharing and interconnection of data, and the eventual interpretation of data through machine learning or other approaches. In project reporting, a major challenge is in encapsulating these problems and enabling goals to be built around the processing of data. Project overruns can occur due to failure to account for the amount of time required to curate and collate. But to understand these failures we need to have a common language for assessing the readiness of a particular data set. This position paper proposes the use of data readiness levels: it gives a rough outline of three stages of data preparedness and speculates on how formalisation of these levels into a common language for data readiness could facilitate project management.

연구 동기 및 목표

• 모델링을 시작하기 전에 데이터 품질을 평가할 수 있는 표준화된 언어의 부재를 해결하기 위해.
• 프로젝트 기획 단계에서 자주 부족하게 대응되고 평가받지 못하는 데이터 정제 및 준비 과정의 중요성을 부각하기 위해.
• 예상치 못한 데이터 처리 요구사항으로 인한 프로젝트 초과 발생을 방지하기 위해 체계적인 평가 프레임워크를 도입함으로써 이를 선제적으로 대응하기 위해.
• 데이터 과학자와 데이터에 익숙지 않은 스테이크홀더 간의 소통을 향상시키기 위해 데이터 준비도를 명시적이고 측정 가능한 방식으로 표현함으로써.
• 모델 중심 접근 방식에서 벗어나 데이터 품질을 프로젝트 성공의 핵심 요소로 포함시키는 전환을 촉진하기 위해.

제안 방법

• 항공우주국(NASA)의 기술 준비도 수준(Technology Readiness Levels, TRLs)과 유사하게, 데이터 준비도 수준을 나타내는 3단계 기반의 프레임워크(A, B, C)를 채택한다.
• 완전성, 일관성, 이용 가능성 등을 포함한 데이터 품질 기준을 기반으로 각 단계를 기술적 기준으로 정의한다.
• ‘이 마일스톤에서 데이터가 어느 DRL 수준에 도달할 것인가?’라는 질문을 통해 프로젝트 범위 설정을 이 프레임워크로 이끌어낸다.
• 프로젝트 팀이 최소 DRL 기준(예: ‘통합에는 최소 B3 필요’)을 설정하여 모델 개발 이전에 데이터 준비도를 확보하도록 유도한다.
• 데이터 준비도를 공동 언어로 활용하여 데이터 품질에 관한 인지 처리 및 의사결정을 향상시킨다.
• DRLs가 커뮤니티의 공감대를 통해 공식화되고, 특히 데이터 과학 및 기계 학습 분야에서 다양한 분야로 적응 가능하도록 제안한다.

실험 결과

연구 질문

• RQ1 표준화된 프레임워크는 데이터 과학 프로젝트에서 데이터 품질 평가 및 소통을 어떻게 향상시킬 수 있는가?
• RQ2 프로젝트 초과를 유발하는 데이터 준비의 주요 과제는 무엇이며, 어떻게 선제적으로 대응할 수 있는가?
• RQ3 기술 준비도 수준(Technology Readiness Levels, TRLs)과 유사한 체계를 데이터 준비도에 어떻게 적용하여 프로젝트 기획 및 자원 배분을 개선할 수 있는가?
• RQ4 비기술 스테이크홀더는 어떻게 단순화되고 체계화된 척도를 통해 데이터 품질 문제를 더 잘 이해하고 참여할 수 있는가?
• RQ5 데이터 준비도는 강력하고 대표적이며 재현 가능한 기계 학습 결과를 확보하는 데 어떤 역할을 하는가?

주요 결과

• 데이터 준비도 수준(DRLs)은 모델링 이전에 데이터 품질을 체계적이고 확장 가능한 방식으로 평가할 수 있는 프레임워크를 제공하여, 열악한 데이터 준비로 인한 프로젝트 리스크를 줄인다.
• 세 단계 기반 시스템(A, B, C)은 팀이 최소 준비도 기준(예: ‘통합에는 최소 B3 필요’)을 정의하는 데 유용하며, 데이터 통합 전에 준비도를 확보할 수 있도록 한다.
• 데이터 준비도를 명시적으로 드러내어, 데이터 정제 시간과 복잡도를 과소 평가함으로써 발생하는 프로젝트 초과를 방지하는 데 기여한다.
• 이 프레임워크는 TRLs와의 유사성을 통해, 데이터에 대한 유사한 성숙도 척도가 팀 간 인지 명확성과 공통 이해를 향상시킬 수 있음을 보여준다.
• 이 프레임워크는 데이터의 ‘희미한’ 성격을 극복하여, 프로젝트 기획 및 의사결정 과정에서 더 선명하고 실행 가능한 형태로 데이터를 다룰 수 있도록 한다.
• 논문은 데이터 과학 분야에서 DRLs의 광범위한 도입과 유용성을 보장하기 위해 커뮤니티의 공감대를 통해 DRLs를 공식화할 것을 촉구한다.