[논문 리뷰] Practices in Code Discoverability

Peter Teuben, Alice Allen외 2명|arXiv (Cornell University)|2012. 02. 06.

Scientific Computing and Data Management참고 문헌 2인용 수 3

한 줄 요약

이 논문은 천체물리학 분야에서 과학적 소스 코드의 검색 가능성 향상을 위해 아스트로피직스 소스 코드 라이브러리(ASCL)를 심사 기반으로 하고, 인용 가능한 저장소로 재창조함으로써 코드를 데이터와 동일한 학술적 인정을 받도록 제안한다. 이를 통해 코드를 ADS 데이터베이스에 통합하여 참조, 인용, 장기적 재현 가능성 확보를 가능하게 하며, 데이터가 과학적 인프라에서 수행하는 역할을 모방한다.

ABSTRACT

Much of scientific progress now hinges on the reliability, falsifiability and reproducibility of computer source codes. Astrophysics in particular is a discipline that today leads other sciences in making useful scientific components freely available online, including data, abstracts, preprints, and fully published papers, yet even today many astrophysics source codes remain hidden from public view. We review the importance and history of source codes in astrophysics and previous efforts to develop ways in which information about astrophysics codes can be shared. We also discuss why some scientist coders resist sharing or publishing their codes, the reasons for and importance of overcoming this resistance, and alert the community to a reworking of one of the first attempts for sharing codes, the Astrophysics Source Code Library (ASCL). We discuss the implementation of the ASCL in an accompanying poster paper. We suggest that code could be given a similar level of referencing as data gets in repositories such as ADS.

연구 동기 및 목표

• 재현 가능한 연구에 핵심적인 역할을 하는 소스 코드의 지속적인 부족한 공유 문제를 해결하기 위해.
• 기존의 코드 배포에 있어 지속적인 도전 과제, 즉 난잡하다는 인식, 경력 상의 인centives 부족, 지적 재산권에 대한 우려 등에 주목하기 위해.
• ASCL을 지속 가능하고 심사 기반인 소스 코드 탐색 및 인용 플랫폼으로서 제안하기 위해, ADS의 데이터 저장소 모델을 모델로 삼는다.
• 소스 코드를 데이터나 논문과 동일한 학술적 출력으로 인정받을 수 있도록 기관 및 공동체 차원의 인식을 촉진하기 위해.
• ADS와 같은 시스템을 통해 색인, 참조, 장기적 보존이 가능하도록 코드를 과학적 인프라 전반에 통합하기 위해.

제안 방법

• 천체물리학 분야에서 과학적 코드의 역사를 검토하며, 초기 공동체 기반 공유와 인터넷 기반 저장소의 부상 과정을 분석한다.
• 문헌 검토, 설문 조사, 과학자 프로그래머들과의 직접 대화를 통해 코드 공유의 장벽을 분석하여 문화적, 기관적, 기술적 장애 요소를 규명한다.
• 원래의 아스트로피직스 소스 코드 라이브러리(ASCL)를 다시 점검하고, 심사 기반, 정제된, 인용 가능한 소스 코드 저장소로 재창조한다.
• ASCL을 아스트로피직스 데이터 시스템(ADS)에 통합하여, 데이터나 논문과 유사하게 색인, 인용, 탐색이 가능하도록 제안한다.
• 소프트웨어를 포함한 재현 가능한 연구 기준을 도입하여, NSF의 데이터 및 소프트웨어 보존 권고사항과 일치시킨다.
• ASCL 모델과 ADS에의 통합을 통해 소스 코드를 첫 번째 등급의 과학적 자료로 간주할 수 있음을 입증하며, 이를 뒷받침하는 후속 논문(Allen 등, 2012)에서 확인된다.

실험 결과

연구 질문

• RQ1 왜 많은 천체물리학자들이 재현 가능성의 과학적 가치를 고려함에도 불구하고 자신의 소스 코드를 공유하지 않는가?
• RQ2 과학적 코드는 어떻게 탐색 가능하고, 인용 가능하며, 데이터와 마찬가지로 학술 커뮤니케이션 생태계에 통합될 수 있는가?
• RQ3 소스 코드를 합법적이고 심사 기반의 과학적 출력으로 간주하기 위해선 어떤 기관적, 문화적 변화가 필요한가?
• RQ4 ASCL과 같은 저장소가 코드의 탐색 가능성 향상과 장기적 보존에 어떤 역할을 할 수 있는가?
• RQ5 코드를 ADS에 통합함으로써 계산 천체물리학의 재현 가능성과 투명성은 어떻게 향상될 수 있는가?

주요 결과

• 다수의 과학적 코드가 재현 가능성의 과학적 가치에도 불구하고 문화적 저항과 인센티브 부족으로 인해 공개되지 않은 채로 숨겨져 있다.
• ASCL는 심사 기반, 인용 가능한 과학적 소스 코드 저장소로 재창조되었으며, 장기적인 탐색 가능성과 학술 인프라 통합에 초점을 맞추고 있다.
• 재현 가능성은 코드 공유 없이는 달성되기 어렵고, 유효한 과학적 결과를 도출하는 경우 조차 난잡하거나 문서화되지 않은 코드도 공개되어야 한다.
• ASCL의 코드는 성공적으로 아스트로피직스 데이터 시스템(ADS)에 통합되어 데이터나 논문과 유사하게 색인, 인용, 탐색이 가능해졌다.
• 코드가 공유되지 않으면 과학적 재현 가능성은 훼손되며, 기관 정책이 코드 보존 및 인용을 지원함으로써 과학적 신뢰성 유지에 기여해야 한다.
• 코드를 ADS에 통합하는 것은 소프트웨어를 데이터나 심사 기반 논문과 동일한 첫 번째 등급의 과학적 출력으로 간주하는 데 있어 핵심적인 단계이다.