[논문 리뷰] Challenges and Governance Solutions for Data Science Services based on Open Data and APIs

Juha-Pekka Joutsenlahti, Timo Lehtonen외 3명|arXiv (Cornell University)|2021. 03. 12.

Data Quality and Management참고 문헌 22인용 수 9

한 줄 요약

이 논문은 해양 항로 분야에서 개방형 데이터와 API를 기반으로 데이터 과학 서비스를 구축할 때 발생하는 다섯 가지 핵심 과제—관련 데이터, 역사적 데이터, 라이선스, 런타임 품질, API 진화—를 규명한다. 이를 해결하기 위해 신뢰성, 호환성, 지속 가능성 확보를 위한 향상된 API 거버넌스 관행을 제안한다.

ABSTRACT

Increasingly common open data and open application programming interfaces (APIs) together with the progress of data science -- such as artificial intelligence (AI) and especially machine learning (ML) -- create opportunities to build novel services by combining data from different sources. In this experience report, we describe our firsthand experiences on open data and in the domain of marine traffic in Finland and Sweden and identified technological opportunities for novel services. We enumerate five challenges that we have encountered with the application of open data: relevant data, historical data, licensing, runtime quality, and API evolution. These challenges affect both business model and technical implementation. We discuss how these challenges could be alleviated by better governance practices for provided open APIs and data.

연구 동기 및 목표

• 개방형 데이터와 API를 기반으로 하는 데이터 과학 서비스 개발 과정에서 반복적으로 나타나는 기술적 및 거버넌스 과제를 규명하는 것.
• 특히 핀란드-스웨덴 동계 항로 시스템에서 발생하는 해양 항로 데이터 분야 특화 문제를 분석하는 것.
• 데이터 가용성, 품질, 장기적 유지보수성과 관련된 과제를 완화할 수 있는 실행 가능한 API 거버넌스 관행을 제안하는 것.
• 신뢰할 수 있는 AI 및 머신러닝 서비스를 위한 데이터 거버넌스, IT 거버넌스, API 관리 간 격차를 메우는 것.
• 가치 네트워크 전반에 걸쳐 체계적인 거버넌스 프레임워크를 통해 지속 가능하고 확장 가능한 데이터 과학 혁신을 지원하는 것.

제안 방법

• 핀트래픽이 운영하는 DigiTraffic API의 실제 구현 사례를 바탕으로 해양 항로 분야에서의 개방형 데이터 및 API 사용에 대한 경험 기반 분석을 수행했다.
• 전문가 인사이트를 통해 다섯 가지 핵심 과제를 도출: 데이터 관련성, 역설적 데이터 접근성, 라이선스 복잡성, 런타임 품질, API 진화.
• 변경 제어, 정책 명세, 라이프사이클 일치, 모니터링 등 특정 API 거버넌스 요소에 각 과제를 매핑했다.
• 기술적, 법적, 운영적 차원을 통합한 거버넌스 모델을 제안하여 이전 호환성과 장기적 안정성을 확보했다.
• API의 무결성과 데이터 품질을 유지하기 위해 통합 모니터링, 감사, 일관된 정책 이행의 역할을 강조했다.
• API 거버넌스가 데이터 거버넌스 및 IT 거버넌스와 통합되어야 하며, API 관리 플랫폼 및 게이트웨이와 일치해야 한다고 위치지었다.

실험 결과

연구 질문

• RQ1 해양 항로 분야에서 개방형 데이터와 API를 기반으로 데이터 과학 서비스를 구축할 때 발생하는 주요 기술적 및 운영 과제는 무엇인가?
• RQ2 데이터 관련성, 역설적 데이터 가용성, 라이선스 문제 등이 AI 기반 서비스의 신뢰성과 확장성에 어떻게 영향을 미치는가?
• RQ3 어떤 방식으로 API 거버넌스 관행이 런타임 품질 및 변화하는 데이터 소스와 관련된 위험을 완화할 수 있는가?
• RQ4 어떻게 거버넌스 모델이 개방형 데이터 API의 이전 호환성과 장기적 유지보수성을 보장할 수 있는가?
• RQ5 통합 모니터링 및 감사는 데이터 과학 서비스의 무결성과 성능을 지속적으로 유지하는 데 어떤 역할을 하는가?

주요 결과

• 관련 데이터, 역사적 데이터, 라이선스, 런타임 품질, API 진화의 다섯 가지 핵심 과제는 데이터 과학 서비스의 기술적 구현과 기업적 타당성에 중대한 영향을 미친다.
• 변경 제어, 정책 명세, 라이프사이클 일치와 같은 API 거버넌스 관행은 이전 호환성을 유지하고 API 진화 과정에서의 혼란을 줄이는 데 필수적이다.
• 런타임 품질은 데이터 품질과 API 신뢰성에 의존하므로, API 라이프사이클 전반에 걸쳐 일관된 모니터링, 감사, 무결성 검사가 필요하다.
• 라이선스 및 데이터 접근 제어는 공식화된 정책 이행과 API 버전 간 일관된 실행을 통해 가장 효과적으로 관리할 수 있다.
• API 거버넌스는 데이터 거버넌스 및 IT 거버넌스와 통합되어야 하며, 데이터 서비스의 완전성, 해석 가능성, 표현 일관성을 확보해야 한다.
• 모니터링, 감사, 변경 영향 분석을 포함하는 통합 거버넌스 모델은 개방형 데이터 기반 AI 및 머신러닝 서비스의 지속 가능하고 확장 가능한 구현을 가능하게 한다.