[논문 리뷰] VisIt: Experiences with Sustainable Software

Sean Ahern, Eric Brugger외 5명|arXiv (Cornell University)|2013. 09. 07.

Scientific Computing and Data Management참고 문헌 1인용 수 12

한 줄 요약

이 논문은 페타스케일 과학 데이터의 스케일러블 분석을 위한 개방형 시각화 도구인 VisIt를 소개한다. 이 도구는 여러 국립 연구소 및 기관 간 지속 가능하고 공동으로 이끄는 개발 모델을 기반으로 개발되었다. 13년간 VisIt는 광범위한 보급을 이룩했으며, 200,000회 이상의 다운로드, LLNL에서 월평균 300명의 고유 사용자, 400명 이상의 이메일 리스트 가입자를 기록했으며, 포괄적인 거버넌스와 민첩한 개발 관행을 통해 연구 활동, 개발자 경력, 기관 간 협력이 촉진되었다.

ABSTRACT

The success of the VisIt visualization system has been wholly dependent upon the culture and practices of software development that have fostered its welcome by users and embrace by developers and researchers. In the following paper, we, the founding developers and designers of VisIt, summarize some of the major efforts, both successful and unsuccessful, that we have undertaken in the last thirteen years to foster community, encourage research, create a sustainable open-source development model, measure impact, and support production software. We also provide commentary about the career paths that our development work has engendered.

연구 동기 및 목표

• VisIt 프로젝트의 개발 및 구현을 통해 개방형 과학 소프트웨어의 장기적 지속 가능성의 사례를 기록하는 것.
• 국립 연구소와 대학 간의 협력 범위에서 기능, 사용자 기반, 기관 간 협력 면에서 VisIt가 어떻게 확장되었는지를 분석하는 것.
• 커뮤니티 참여, 자금 조달 메커니즘, 소프트웨어 공학 관행이 도구의 성공과 연구자 경력 발전에 어떻게 기여했는지를 검토하는 것.
• 직접적인 추적 기술이 불가능한, 특히 기밀 환경에서의 간접적 사용 지표를 평가하는 것.

제안 방법

• 사용성과 확장성을 보장하기 위해 빈번한 릴리스와 사용자 피드백 루프를 통한 민첩한 개발 모델을 채택하였다.
• 중앙 집중식 LLNL 주도 개발 모델에서 분산된 다중 기관 기반 모델로 전환하여 더 넓은 기여를 가능하게 하였다.
• 코드 리뷰, 메일링 리스트, 소프트웨어 아키텍트를 포함한 공식화된 기여 프로세스를 구축하여 코드 품질과 아키텍처의 무결성을 유지하였다.
• 신규 개발자와 경험이 풍부한 기여자 간의 짝을 지어주는 비공식적인 멘토링 프로그램을 도입하여 도입 기간을 단축하고 지식 이관을 촉진하였다.
• 다중 기관 보조금(예: SciDAC, NSF)을 통해 자금을 확보하여 팀원들이 공동 책임자(PI) 역할을 수행할 수 있도록 하였다.
• 사용자 프라이버시를 해치지 않으면서도 사용자 수, 이메일 리스트 활동, 인용 추적과 같은 간접적 사용 지표를 활용하여 영향도를 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 기관과 자금 지원 주기 동안 과학적 시각화 도구가 어떻게 장기적 지속 가능성을 달성할 수 있는가?
• RQ2 커뮤니티 기여를 최대한으로 지원하면서도 소프트웨어 품질과 확장성을 유지하는 데 가장 효과적인 개발 및 거버넌스 모델은 무엇인가?
• RQ3 HPC 소프트웨어에서의 개방형 협업이 개발자 경력 궤적과 연구 기회에 어떤 영향을 미치는가?
• RQ4 직접적인 텔레메트리가 불가능한 상황에서 사용량과 영향도를 측정하는 데 가장 효과적인 간접 지표는 무엇인가?

주요 결과

• VisIt는 70개 이상의 국가에서 200,000회 이상의 사전 컴파일된 바이너리 다운로드를 기록하여 광범위한 국제적 보급을 보였다.
• LLNL에서의 월간 사용자 수만으로도 약 300명의 고유 사용자 이름이 VisIt을 실행했으며, 사용자 이메일 리스트에 400명 이상의 정기 가입자가 있었다.
• 기초 논문에 대해 128건의 인용을 확보했으며, 관련 연구 논문들에 대해서도 추가 인용이 이루어져 학술적 영향력을 입증했다.
• 개발자들은 HPC 커뮤니티 내에서의 시각화와 전문성 덕분에 3~5년 이내에 리더십 역할을 수행하며, 자주 보조 책임자(co-PI)로 보조금 프로젝트에 참여하게 되었다.
• 분산된 개발 모델은 레이너스 버클리, 오크 리지, UC Davis, 유타 대학교 등 주요 기관의 기여를 성공적으로 통합하였다.
• 직접적인 사용 텔레메트리가 없음에도 불구하고, 커뮤니티 지원, 메일링 리스트, 기관 간 협력 관계를 통해 강력한 사용자 참여를 유지하였다.