[논문 리뷰] You Can't Publish Replication Studies (and How to Anyways)

Ghulam Jilani Quadri, Paul Rosen|arXiv (Cornell University)|2019. 08. 23.

Scientific Computing and Data Management참고 문헌 38인용 수 4

한 줄 요약

이 논문은 시각화 연구에서 신선함이 재현 가능성보다 우선시되는 상황에서 복제 연구를 발표하는 데 직면한 과제를 다룹니다. 복제 작업을 재평가, 확장 또는 특화를 통해 새로운 연구에 통합함으로써 이를 해결하고자 하며, 클리브랜드와 매킨느의 그래픽적 인지 연구 복제 사례를 통해 복제가 과학적으로 엄밀하고 동시에 출판 가능해질 수 있음을 보여줍니다.

ABSTRACT

Reproducibility has been increasingly encouraged by communities of science in order to validate experimental conclusions, and replication studies represent a significant opportunity to vision scientists wishing contribute new perceptual models, methods, or insights to the visualization community. Unfortunately, the notion of replication of previous studies does not lend itself to how we communicate research findings. Simple put, studies that re-conduct and confirm earlier results do not hold any novelty, a key element to the modern research publication system. Nevertheless, savvy researchers have discovered ways to produce replication studies by embedding them into other sufficiently novel studies. In this position paper, we define three methods -- re-evaluation, expansion, and specialization -- for embedding a replication study into a novel published work. Within this context, we provide a non-exhaustive case study on replications of Cleveland and McGill's seminal work on graphical perception. As it turns out, numerous replication studies have been carried out based on that work, which have both confirmed prior findings and shined new light on our understanding of human perception. Finally, we discuss how publishing a true replication study should be avoided, while providing suggestions for how vision scientists and others can still use replication studies as a vehicle to producing visualization research publications.

연구 동기 및 목표

• 피어 리뷰에서 새로움이 우선시됨으로써 시각화 및 HCI 분야에서 복제 연구를 출판하는 데 있어 체계적인 과제를 해결하기 위해.
• 엄격한 복제 연구는 거의 수용되지 않지만, 새로운 연구 기여에 통합함으로써 성공적으로 출판될 수 있음을 보여주기 위해.
• 연구자들이 원본 기여에 가치를 더함과 동시에 학술적 새로움을 유지하면서 복제를 통합할 수 있도록 실천 가능한 전략(다시 평가, 확장, 특화)을 제공하기 위해.
• 특히 시각 과학과 시각화의 교차 분야에서 복제와 혁신이 공존할 수 있음을 보여줌으로써 연구 문화의 전환을 촉구하기 위해.
• 심사자와 출판처가 복제를 과학적 엄밀성의 중요한 구성 요소로 인정하고, 피어 리뷰에서 '보너스 포인트'를 제공함으로써 이를 장려할 수 있도록 유도하기 위해.

제안 방법

• 다시 평가: 이전 연구를 다른 인구 통계, 환경 또는 분석 방법에서 재평가하여 탄력성과 편향 감소를 테스트하기.
• 확장: 기존 결과를 새로운 실험으로 확장하여 원래 범위를 초월해 이해를 심화하거나 추가 통찰을 드러내기.
• 특화: 이전 결과를 특정 도메인이나 맥락에 적용하고 보완함으로써 도메인 특화 지식을 활용해 새로운 기여를 창출하기.
• 복제를 새로운 연구에 통합하기: 복제를 기반으로 하여 원래의 방법론적 또는 개념적 혁신을 구축함으로써 논문이 출판의 새로움 기준을 충족하도록 하기.
• 기존 연구의 데이터와 실험 설계를 활용하여 새로운 연구 질문을 도출함으로써 신규 데이터 수집이 필요 없도록 하기.
• 클리브랜드와 매킨느의 그래픽 인지 연구 사례를 통해 복제를 체계적으로 적용하고 검증할 수 있음을 보여주는 사례 연구 사용하기.

실험 결과

연구 질문

• RQ1 왜 복제 연구는 과학적 가치가 있음에도 불구하고 시각화 및 HCI 분야에서 거의 출판되지 않을까요?
• RQ2 새로움이 우선시되는 제도적 환경에서 연구자들이 어떻게 복제 연구를 성공적으로 출판할 수 있을까요?
• RQ3 복제를 원본 연구 기여에 통합하면서도 새로움을 훼손하지 않을 수 있는 전략은 무엇일까요?
• RQ4 다시 평가, 확장 및 특화가 어떻게 복제가 새로운 출판물에 의미 있게 기여할 수 있게 할까요?
• RQ5 복제는 시각화 연구의 기초 가정을 강화하는 데 어떤 역할을 할 수 있을까요?

주요 결과

• 피어 리뷰에서 새로움이 지배적이기 때문에, 복제 연구는 시각화 및 HCI 분야에서 체계적으로 출판되지 않으며, HCI 논문의 약 3%만 복제를 尝시하고 있습니다.
• 엄격한 복제 연구는 새로움이 부족하다고 간주되어 거의 수용되지 않으며, 이는 시각화 분야의 응용 논문과 유사합니다.
• 다시 평가, 확장 및 특화 전략은 복제를 새로운 연구에 통합하는 데 효과적이며, 기초적 발견을 검증하면서도 출판 가능성을 유지할 수 있도록 합니다.
• 클리브랜드와 매킨느의 그래픽 인지 연구는 여러 차례 복제되었으며, 원래 결과를 확인하고 인간의 인지 및 그래픽 인코딩의 효과성에 대한 새로운 통찰을 드러냈습니다.
• 복제를 새로운 작업에 통합함으로써, 예를 들어 발견을 새로운 도메인에 적용하거나 데이터를 새로운 방법으로 재분석함으로써 고영향력의 출판 가능 연구를 창출할 수 있습니다.
• 심사자와 출판처는 복제 구성 요소에 대해 '보너스 포인트'를 제공함으로써 재현 가능성을 향상시킬 수 있으며, 이는 데이터 가용성이 심사 점수에 영향을 주는 것과 유사합니다.