[논문 리뷰] Top Tips to Make Your Research Irreproducible

Neil Chue Hong, Tom Crick외 3명|arXiv (Cornell University)|2015. 03. 31.

Privacy-Preserving Technologies in Data참고 문헌 1인용 수 3

한 줄 요약

이 풍자 논문은 계산 연구의 재현 불가능성을 의도적으로 만들기 위한 전략을 유머러스하게 서술한다. 예를 들어 방법론적 세부사항 생략, 추상적인 의사코드 사용, 데이터 공유 회피, 그리고 개인적인 재현 불가능성 확보 등이다. 주요 기여는 과학적 출판의 결함을 드러내기 위해 열등한 연구 관행을 흑유적으로 흉내 내는 맨드레이드 같은 선언문이다.

ABSTRACT

It is an unfortunate convention of science that research should pretend to be reproducible; our top tips will help you mitigate this fussy conventionality, enabling you to enthusiastically showcase your irreproducible work.

연구 동기 및 목표

• 공개적으로 알려진 열악한 관행을 흑유적으로 흉내 내어 계산 연구에서의 재현 불가능성의 보편성을 드러내는 것.
• 검증 가능성이나 투명성보다 출판을 우선시하는 과학적 출판 문화를 비판하는 것.
• 모호한 방법론, 코드/데이터 공유 부족, 인용에 대한 과도한 의존이 재현 불가능성을 어떻게 조장하는지 폭 드러내는 것.
• 재현 가능한 과학이란 무엇인지에 대한 고찰을 연구자와 심사위원이 하도록 도전하기 위해 재현 원칙을 뒤집는 것.

제안 방법

• 세부 실험 설정을 생략하도록 주장하며, 핵심 구현 세부사항을 가리키는 고수준의 모호한 기술만 제시하도록 제안한다.
• 구체적인 도구 체인이나 수동 조작 방식을 드러내지 않는 추상적 의사코드 사용을 장려한다.
• 방법론적 한계를 생략하여 공간을 절약하고, 영향력 있는 논문을 인용함으로써 h-지수를 높이는 데 방향을 전환하도록 권장한다.
• 공개되지 않은 전용 벤치마크를 만들 것을 권고하여 감시를 피한다. 특히 표준 데이터셋에서 성능이 열 劣할 경우에 유용하다.
• 코드나 데이터 공유를 피하여 다른 이들이 결과를 검증하거나 구현 오류를 발견하는 것을 막는 것을 조언한다.
• 핵심 전략으로 개인적인 재현 불가능성 확보를 제안한다. 즉, 조작적인 경솔함을 통해 저자 자신조차 결과를 재현할 수 없게 하여, 외부의 재현 위험을 완전히 제거한다.

실험 결과

연구 질문

• RQ1 연구자들이 동료 검토 논문지에서 수용될 수 있도록 하면서도 의도적으로 연구를 재현 불가능하게 설계할 수 있는 방법은 무엇인가?
• RQ2 어떤 방법론적 생략이나 혼란스러운 서술 방식이 의심을 일으키지 않고도 재현을 효과적으로 방해하는가?
• RQ3 공개된 데이터, 코드, 또는 상세한 방법이 없는 것이 거짓되거나 검증되지 않은 결과가 지속되는 데 어떤 기여를 하는가?
• RQ4 현재의 학술 인centive 구조는 왜 투명성보다 재현 불가능성을 보다 더 보상하는가?
• RQ5 동료 검토의 체계적 결함는 어떻게 재현 불가능한 연구가 유효한 것으로 간주되며, 이를 정당화하는가?

주요 결과

• 논문은 재현 불가능성이 단지 흔한 현상이 아니라, 방법론, 코드, 데이터 공유의 의도적 생략으로 인해 심지어 촉진된다는 것을 입증한다.
• 추상적 의사코드를 사용하고, 실행 세부사항을 생략하면 다른 이들이 실제 계산 과정을 이해하거나 재현하는 것을 효과적으로 방해할 수 있다.
• 비공개의 전용 벤치마크를 만들면 공동체 기준 데이터셋에서의 검증을 피할 수 있어, 검증 불가능한 주장의 가능성을 높인다.
• 저자들은 만약 연구자가 자신의 연구를 재현할 수 없다면, 외부의 재현 위험은 완전히 제거되므로 연구는 의도적으로 재현 불가능하게 설계된 셈이라고 주장한다.
• 논문은 풍자적이지만 날카로운 결론을 내린다: 재현 불가능한 실험은 실제로 수행되지 않은 실험과 기능적으로 동일하다. 이는 검증 불가능한 결과를 유효한 과학으로 간주하는 것이 얼마나 비논리적인지 드러낸다.