[논문 리뷰] Better Code, Better Sharing:On the Need of Analyzing Jupyter Notebooks

Jiawei Wang, Li Li외 1명|arXiv (Cornell University)|2019. 06. 12.

Digital Humanities and Scholarship참고 문헌 8인용 수 8

한 줄 요약

이 논문은 과학적 및 교육적 맥락에서 코드 품질 향상과 재현 가능성 향상을 위해 Jupyter 노트북의 체계적 프로그래밍 분석을 주장한다. 초보적 연구를 통해 노트북이 사용되지 않는 변수나 노후화된 함수와 같은 나쁜 프로그래밍 관행을 자주 포함하고 있음을 입증한다. 저자들은 과학적 및 교육적 맥락에서 결함 있는 코드가 퍼져나가는 것을 방지하기 위해 커뮤니티 전체가 노트북의 품질 관리에 주목할 것을 주장한다.

ABSTRACT

By bringing together code, text, and examples, Jupyter notebooks have become one of the most popular means to produce scientific results in a productive and reproducible way. As many of the notebook authors are experts in their scientific fields, but laymen with respect to software engineering, one may ask questions on the quality of notebooks and their code. In a preliminary study, we experimentally demonstrate that Jupyter notebooks are inundated with poor quality code, e.g., not respecting recommended coding practices, or containing unused variables and deprecated functions. Considering the education nature of Jupyter notebooks, these poor coding practices as well as the lacks of quality control might be propagated into the next generation of developers. Hence, we argue that there is a strong need to programmatically analyze Jupyter notebooks, calling on our community to pay more attention to the reliability of Jupyter notebooks.

연구 동기 및 목표

• 소프트웨어 공학 경험이 제한된 도메인 전문가들이 작성한 Jupyter 노트북에서 나쁜 프로그래밍 관행의 보편성을 조사하기 위해.
• 노트북의 광범위한 사용으로 인해 과학적 및 교육적 맥락에서 저품질 코드가 퍼질 위험을 부각하기 위해.
• 더 나은 프로그래밍 표준을 시행하기 위해 Jupyter 노트북에 특화된 자동화된 분석 도구 개발을 촉구하기 위해.
• 연구 및 소프트웨어 공학 커뮤니티가 노트북 기반 워크플로우의 품질 관리 필요성에 대해 인식을 높이기 위해.
• Jupyter 노트북의 정적 및 동적 분석에 대한未래 연구의 기반을 마련하기 위해.

제안 방법

• GitHub에서 공개된 Jupyter 노트북 샘플에 대한 초보적 실증 연구를 수행하기 위해.
• 사용되지 않는 변수, 정의되지 않은 변수, 노후화된 함수와 같은 일반적인 코드 품질 문제를 탐지하기 위해 정적 코드 분석 기법을 적용하기 위해.
• 자연어 처리 및 AST(추상 구문 트리) 파싱을 사용하여 노트북 셀 내부의 코드 구조와 의미를 분석하기 위해.
• 기존 소프트웨어 공학 최선의 실천 방법과 커뮤니티 기준에 기반해 코드 품질을 평가하기 위해.
• 코드, 텍스트, 출력 구성 요소를 분리하여 모듈화되고 확장 가능한 노트북 콘텐츠 분석 프레임워크를 설계하기 위해.
• 품질 검사를 노트북 작성 및 공유 워크플로우에 통합하기 위한 파이프라인 제안하기 위해.

실험 결과

연구 질문

• RQ1 Jupyter 노트북에 사용되지 않는 변수나 노후화된 함수와 같은 낮은 품질의 코드가 얼마나 광범위하게 존재하는가?
• RQ2 노트북의 프로그래밍 관행은 기존 소프트웨어 공학 표준과 어떻게 비교되는가?
• RQ3 노트북에서 낮은 품질의 코드가 재현 가능성과 교육에 어떤 영향을 미치는가?
• RQ4 노트북 환경에서 코드 품질 문제를 효과적으로 탐지할 수 있는 자동화된 분석 기법은 무엇인가?
• RQ5 소프트웨어 공학 커뮤니티는 어떻게 노트북 기반 과학 워크플로우에 품질 관리를 통합할 수 있는가?

주요 결과

• 많은 비율의 Jupyter 노트북이 사용되지 않는 변수를 포함하고 있으며, 이는 나쁜 프로그래밍 습관을 나타내고 유지보수성을 떨어뜨린다.
• 많은 노트북에서 노후화된 함수를 사용하고 있어 런타임 오류 위험이 증가하고 장기적인 유지보수성도 떨어진다.
• 연구 결과, 저자들이 과학적 및 교육적 목적을 가지고 있음에도 불구하고 노트북의 프로그래밍 관행이 종종 기존 소프트웨어 공학 최선의 실천 방법을 위반하고 있음을 발견했다.
• 낮은 품질의 코드가 널리 퍼져 있음을 고려할 때, 이는 노트북 작성 방식에 대한 체계적인 문제이며 재현 가능성과 학습 성과에 악영향을 줄 수 있다.
• 결과적으로 자동화된 분석 도구를 통해 노트북 코드 품질을 탐지하고 개선을 이끌어내는 데 긴급한 필요성이 있다는 점이 강조된다.
• 저자들은 과학 계산에서 신뢰성과 교육적 정당성을 확보하기 위해 프로젝트적 코드 분석이 노트북에서 필수적이라고 결론 내린다.