[논문 리뷰] The ESO Survey of Non-Publishing Programmes

F. Patat, H. M. J. Boffin외 5명|arXiv (Cornell University)|2017. 01. 01.

Astronomy and Astrophysical Research인용 수 2

한 줄 요약

이 연구는 2016년 4월 기준으로 2,716개의 ESO 관측 프로그램 중 1,278개(47.1%)가 심층 검토를 통과한 논문을 내보내지 못한 이유를 분석하기 위해 965명의 주요 연구자(PI)를 대상으로 설문조사를 실시했다. 주요 발견 결과로는, 비공개 사례의 44%가 데이터 품질이나 양이 부족하기 때문이며, 37%는 자원 부족 또는 분석 중이기 때문임을 확인했으며, 천문학 분야에서 데이터 활용 및 논문 발표 문화에 있어 체계적인 과제가 있음을 시사한다.

ABSTRACT

One of the classic ways to measure the success of a scientific facility is the publication return, which is defined as the number of refereed papers produced per unit of allocated resources (for example, telescope time or proposals). The recent studies by Sterzik et al. (2015, 2016) have shown that 30-50 % of the programmes allocated time at ESO do not produce a refereed publication. While this may be inherent to the scientific process, this finding prompted further investigation. For this purpose, ESO conducted a Survey of Non-Publishing Programmes (SNPP) within the activities of the Time Allocation Working Group, similar to the monitoring campaign that was recently implemented at ALMA (Stoehr et al. 2016). The SNPP targeted 1278 programmes scheduled between ESO Periods 78 and 90 (October 2006 to March 2013) that had not published a refereed paper as of April 2016. The poll was launched on 6 May 2016, remained open for four weeks, and returned 965 valid responses. This article summarises and discusses the results of this survey, the first of its kind at ESO.

연구 동기 및 목표

• Sterzik 등(2015, 2016)이 30–50%로 보고한 높은 비율의 ESO 관측 프로그램 비공개 원인을 이해하기 위해.
• 데이터 품질, 자원 가용성, 프로젝트 관리와 같은 과학적 및 운영적 요인들이 비공개에 기여하는 방식을 평가하기 위해.
• 시간 할당 및 기기별 성능이 논문 성과에 미치는 영향을 평가하기 위해.
• 부정적 또는 결론이 없는 결과를 발표하지 못하게 하는 천문학 분야의 문화적·구조적 장벽을 검토하기 위해.
• 공개 가능한 결과를 도출할 수 있는 요인을 규명함으로써 향후 시간 할당 정책 및 데이터 처리 지원 정책 개선에 기여하기 위해.

제안 방법

• 2006년 10월에서 2013년 3월까지(기간 78–90) ESO에서 시간을 할당받았지만 논문을 내보내지 못한 1,278개의 비공개 프로그램에서 965명의 주요 연구자(PI)를 대상으로 웹 기반 설문조사를 실시함. 설문 대상은 A 등급 또는 최우선순위 관측에 한정함.
• 10개의 사전 정의된 응답 옵션과 자유형 댓글 필드를 포함한 구조화된 질문지로, 비공개 이유를 특정함.
• 통계적 상관관계 분석을 통해 프로그램 유형(일반, GTO, TOO), 기기, 시간 할당, PI의 업무 부담 등에 따라 응답을 분석함.
• 다중 기기 프로그램을 고려하기 위해 '부분적 제안서' 개념을 정의하여 기기 수준의 공개 비율 비교를 가능하게 함.
• 시간에 따라 변하는 공개 지연 모델(PDTD)을 적용하여 시간에 따른 공개 비율을 추정하고, 여러 세대의 제안서를 고려함.
• 식 A4를 사용하여 측정된 비율 R(t)를 반전시켜 진정한 공개 비율 fP^0를 추정하고, 완전하지 않은 공개 일정에 기인한 오차를 보정함.

실험 결과

연구 질문

• RQ1 2006년 10월에서 2013년 3월 사이에 ESO에서 시간을 할당받은 2,716개 프로그램 중 47.1%가 완전한 데이터 확보에도 불구하고 2016년 4월 기준으로 심층 검토 논문을 내보내지 못한 주요 이유는 무엇인가?
• RQ2 다른 기기, 관측 모드(서비스/방문자용), 프로그램 유형(일반, GTO, TOO) 간에 공개 성공률는 어떻게 달라지나?
• RQ3 데이터 품질, 데이터 양, 자원 부족이 비공개를 초래하는 정도는 어느 정도이며, 이러한 요소들이 시간 할당과 어떻게 상관관계가 있는가?
• RQ4 할당된 총 관측 시간의 총량이 공개 성공에 영향을 미치는가?
• RQ5 관측된 공개 지연 분포를 모델링하여, 완전하지 않은 공개 일정을 보정한 진정한 기반 공개 수익률을 추정할 수 있는가?

주요 결과

• 2006년 10월에서 2013년 3월 사이에 ESO에서 시간을 할당받은 2,716개 프로그램 중 1,278개(47.1%)가 2016년 4월 기준으로 심층 검토 논문을 내보내지 못함.
• 가장 높은 공개 수익률은 HARPS(78%)였고, VIMOS와 CRIRES는 각각 39%와 39.5%로 가장 낮아 기기별로 공개 성과에 차이가 있음을 시사함.
• 비공개 사례의 44%는 데이터 품질이나 양이 부족하기 때문이며, 37%는 PI의 자원 부족 또는 분석 중이기 때문임.
• 45%의 PI는 단일 설문 프로그램에만 소속되어 있었고, 이 중 55%는 논문을 내보내지 못해 PI의 업무 부담과 공개 성과 사이에 강한 상관관계가 있음.
• 더 큰 시간 할당은 뚜렷하게 높은 공개 성공률과 관련이 있었으며, 이는 공개 가능한 결과를 도출하기 위해 일정 수준 이상의 데이터 양과 품질이 필요함을 시사함.
• 이 연구는 진정한 기반 공개 수익률이 약 75%로 추정되며, 더 나은 데이터 제공 및 자원 최적화를 통해 10–15% 향상이 가능할 것으로 평가함.