[논문 리뷰] Learnings from Frontier Development Lab and SpaceML - AI Accelerators for NASA and ESA.

Siddha Ganju, Anirudh Koul외 4명|arXiv (Cornell University)|2020. 11. 09.

Scientific Computing and Data Management참고 문헌 16인용 수 6

한 줄 요약

이 논문은 학계, 정부, 산업계 연구 간 격차를 메우는 AI 가속기로 페리포트 개발 랩(Frontier Development Lab, FDL)과 SpaceML을 분석한다. 이들은 책임감 있는 AI 실천과 오픈소스 협업을 통합함으로써 재현 가능하고 다학제적인 AI 연구를 가능하게 하며, 기술 준비도 수준(Technology Readiness Levels, TRLs)과 오픈소스 배포를 통해 실질적 영향을 미치고 확장 가능한 방식으로 구현한다.

ABSTRACT

Research with AI and ML technologies lives in a variety of settings with often asynchronous goals and timelines: academic labs and government organizations pursue open-ended research focusing on discoveries with long-term value, while research in industry is driven by commercial pursuits and hence focuses on short-term timelines and return on investment. The journey from research to product is often tacit or ad hoc, resulting in technology transition failures, further exacerbated when research and development is interorganizational and interdisciplinary. Even more, much of the ability to produce results remains locked in the private repositories and know-how of the individual researcher, slowing the impact on future research by others and contributing to the ML community's challenges in reproducibility. With research organizations focused on an exploding array of fields, opportunities for the handover and maturation of interdisciplinary research reduce. With these tensions, we see an emerging need to measure the correctness, impact, and relevance of research during its development to enable better collaboration, improved reproducibility, faster progress, and more trusted outcomes. We perform a case study of the Frontier Development Lab (FDL), an AI accelerator under a public-private partnership from NASA and ESA. FDL research follows principled practices that are grounded in responsible development, conduct, and dissemination of AI research, enabling FDL to churn successful interdisciplinary and interorganizational research projects, measured through NASA's Technology Readiness Levels. We also take a look at the SpaceML Open Source Research Program, which helps accelerate and transition FDL's research to deployable projects with wide spread adoption amongst citizen scientists.

연구 동기 및 목표

• 공공 및 민간 부문 간 다학제 AI 연구의 분열성과 재현성 부족 문제를 해결하기 위해.
• AI 연구 개발 과정에 체계적이고 원칙 기반의 워크플로우를 정착시켜 기술 이행 실패를 줄이기 위해.
• 연구 결과와 방법론을 공개적으로 접근 가능하게 하여 조직 간 협업과 지식 공유를 향상시키기 위해.
• 오픈소스 플랫폼과 커뮤니티 참여를 통해 AI 연구의 성숙도와 도입을 가속화하기 위해.
• NASA의 기술 준비도 수준(Technology Readiness Levels, TRLs)을 활용해 연구 영향을 측정하고 진전 및 확장 가능성의 프레임워크로 활용하기 위해.

제안 방법

• 나사(NASA)와 에어로스팩스(ESA) 간 공공-민간 파트너십 모델을 적용하여 페리포트 개발 랩(Frontier Development Lab, FDL)을 공동 주도하는 AI 가속기로 운영하기 위해.
• 연구 수명주기 전반에 책임감 있는 AI 개발 원칙을 통합하여 윤리적이고 투명하며 재현 가능한 결과를 확보하기 위해.
• 기술 준비도 수준(Technology Readiness Levels, TRLs)을 표준화된 지표로 삼아 AI 연구 과제의 성숙도를 평가하고 추적하기 위해.
• FDL 연구 결과물을 호스팅, 버전 관리, 배포할 수 있도록 하는 SpaceML 오픈소스 프로그램을 구축하기 위해.
• 명확한 결과물과 시간 제한이 있는 연구 스프린트를 통해 조직 간 및 다학제적 협업을 촉진하기 위해.
• 오픈소스 플랫폼을 통해 연구를 접근 가능하고 재사용 가능한 도구와 데이터셋으로 패키징함으로써 시민 과학자들의 참여를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 다학제적이고 다기관적인 AI 연구는 어떻게 체계적으로 가속화될 수 있으며, 동시에 재현 가능성과 윤리 기준을 유지할 수 있는가?
• RQ2 기술 준비도 수준(Technology Readiness Levels, TRLs)과 같은 표준화된 성숙도 지표는 AI 연구가 개념에서 구현 단계로 이르기까지 얼마나 측정하고 진전시킬 수 있는가?
• RQ3 SpaceML과 같은 프로그램을 통한 오픈소스 배포 방식은 AI 연구 결과물의 도입과 확장 가능성에 어떻게 기여하는가?
• RQ4 우수한 기술 이행을 가능하게 하는 제도적 및 절차적 프레임워크는 공간 및 지구 과학 분야의 실제 응용에 이르기까지 연구에서 어떻게 작동하는가?
• RQ5 공공-민간 파트너십은 정부 우주 기관에서 AI 연구의 효율성과 영향력을 어떻게 향상시키는가?

주요 결과

• FDL는 체계적인 협업을 기반으로 짧고 집중적인 스프린트 기간 동안 다학제 AI 과제를 성공적으로 수행하여, 구조화된 협업 하에 빠르고 영향력 있는 연구가 가능함을 입증했다.
• 기술 준비도 수준(Technology Readiness Levels, TRLs)의 사용은 과제의 성숙도를 명확히 추적할 수 있게 해주었으며, 다양한 이해관계자 간의 투명성과 일치성을 향상시켰다.
• SpaceML의 오픈소스 플랫폼은 FDL 연구 결과물의 접근성과 재사용 가능성을 크게 향상시켜 공동체 주도의 혁신을 촉진했다.
• 책임감 있는 AI 실천의 통합은 학계, 정부, 산업계 파트너 간 연구 결과의 재현 가능성과 신뢰도를 향상시켰다.
• 공동 목표, 표준화된 워크플로우, 개방된 지식 공유를 통해 조직 간 협업이 향상되어 기술 이행 실패가 감소했다.
• 이 모델은 넓은 범위의 도입 가능성을 보였으며, 시민 과학자들과 외부 개발자들이 오픈소스 기여를 통해 FDL 연구에 기여하고 이를 확장하고 있었다.