[논문 리뷰] Open data, open review and open dialogue in making social sciences plausible

Quan‐Hoang Vuong|arXiv (Cornell University)|2017. 12. 13.

scientometrics and bibliometrics research인용 수 7

한 줄 요약

이 논문은 사회과학 연구의 신뢰성, 철학적 타당성 및 타당성을 향상시키기 위해 개방형 데이터, 개방형 심사, 개방형 대화의 통합을 주장한다. 투명성과 공동 심사의 촉진을 통해 삼중적 접근은 방법론적 탄탄함을 강화하고 사회과학 연구 결과에 대한 신뢰를 회복시키며, 연구 관행의 실현 가능하고 필수적인 진화로 자리매김한다.

ABSTRACT

Nowadays, protecting trust in social sciences also means engaging in open community dialogue, which helps to safeguard robustness and improve efficiency of research methods. The combination of open data, open review and open dialogue may sound simple but implementation in the real world will not be straightforward. However, in view of Begley and Ellis's (2012) statement that, "the scientific process demands the highest standards of quality, ethics and rigour," they are worth implementing. More importantly, they are feasible to work on and likely will help to restore plausibility to social sciences research. Therefore, I feel it likely that the triplet of open data, open review and open dialogue will gradually emerge to become policy requirements regardless of the research funding source.

연구 동기 및 목표

• 투명성과 재현 가능성을 증진시켜 사회과학 분야의 신뢰 위기를 해결하기 위해.
• 개방형 데이터, 개방형 심사, 개방형 대화가 함께 방법론적 철학적 타당성과 연구의 타당성을 향상시킨다고 주장하기 위해.
• 이러한 관행이 타당성 있는 사회과학 연구를 위해 실현 가능할 뿐 아니라 점점 더 필수적이 되고 있음을 보여주기 위해.
• 개방성의 삼중적 접근을 모든 연구 자금 지원 기관에서의 향후 정책 기준으로 위치지어 기술하기 위해.

제안 방법

• 개방형 데이터 공유, 개방형 동료 심사, 공개된 학술 대화를 중심으로 하는 삼각형 프레임워크를 제안한다.
• 자료 및 심사 과정의 투명성이 독립적 검증과 방법론적 검토를 가능하게 한다고 강조한다.
• 메커니즘적 결함을 식별하고 연구 품질을 향상시키기 위해 공동체 기반의 대화를 주장한다.
• Begley와 Ellis (2012)의 연구를 인용하여 접근 방식을 고품질 과학적 기준과 윤리 기준에 기반하게 한다.
• 삼중적 접근을 더 탄탄하고 신뢰할 수 있는 연구 관행으로의 체계적 전환으로 프레임워크화한다.
• 논문이 Nature: Scientific Data Updates에 게재된 것을 개방형 과학 구현의 사례로 사용한다.

실험 결과

연구 질문

• RQ1 개방형 데이터, 개방형 심사, 개방형 대화가 함께 사회과학 연구의 신뢰성에 어떻게 기여할 수 있는가?
• RQ2 사회과학 분야에서 개방형 과학 관행을 구현할 때의 실질적 도전 과제와 이점은 무엇인가?
• RQ3 투명성과 공동체 참여는 사회과학 연구 결과에 대한 신뢰를 얼마나 회복시킬 수 있는가?
• RQ4 왜 개방형 과학 관행이 사회과학 분야에서 방법론적 철학적 타당성을 확보하기 위해 필수적인가?

주요 결과

• 개방형 데이터, 개방형 심사, 개방형 대화의 통합은 사회과학 연구의 탄탄함과 신뢰성에 크게 기여한다.
• 이러한 관행은 Begley와 Ellis (2012)가 강조한 고품질 과학적 기준, 윤리 기준, 철학적 타당성 표준을 지원한다.
• 삼중적 접근은 실현 가능하며, 자금 지원 기관의 유형에 관계없이 향후 정책 의무 조건이 될 가능성이 높다.
• 개방형 대화를 통한 공적 참여는 방법론적 약점을 식별하고 연구 효율성을 향상시키는 데 기여한다.
• 본 논문이 Nature: Scientific Data Updates에 게재된 사례는 개방형 과학 원칙의 성공적인 구현을 보여준다.