[논문 리뷰] Statistical tools used to identify scientific misconduct in mobile phone research (REFLEX program)

Alexander Lerchl, Adalbert Wilhelm|arXiv (Cornell University)|2008. 07. 16.

Electromagnetic Fields and Biological Effects참고 문헌 24인용 수 8

한 줄 요약

이 논문은 REFLEX 프로그램의 데이터 조작을 폭 드러내기 위해 통계 도구를 적용하여 이동전화 연구에서 과학적 부정행위를 규명한다. 다항분포 이론과 마지막 자릿수 분석을 사용하여 보고된 DNA 절단 데이터에서 비현실적으로 낮은 변동성과 균일하지 않은 숫자 분포를 발견하였으며, 이로 인해 데이터 조작으로 인해 두 페퍼가 철회되었다.

ABSTRACT

A severe case of scientific misconduct was discovered in a paper from 2005 allegedly showing harmful effects (DNA breakage) of non-thermal mobile phone electromagnetic field exposure on human and rat cells. Here we describe the way how the fraudulent data were identified. The low variations of the reported biological data are shown to be below theoretical lower limits (multinomial distributions). Another reason for doubts was highly significant non-equal distributions of last digits, a known hint towards data fabrication. The Medical University Vienna, where the research was conducted, was informed about these findings and came to the conclusion that the data in this and another, related paper by the same group were fabricated, and that both papers should be retracted.

연구 동기 및 목표

• 비열성 이동전화 전자기장 노출에 의한 DNA 절단을 주장하는 생물학적 데이터의 진위를 조사하기 위해.
• 생명과학 분야의 실험 데이터에 적용 가능한 통계 방법을 사용하여 데이터 조작의 징후를 탐지하기 위해.
• 생물의학 연구에서 과학적 부정행위를 식별하기 위한 재현 가능한 프레임워크를 제공하기 위해.
• REFLEX 프로그램에서의 데이터 비정상성에 대한 통계적 증거를 제공하여 기관 심사 지원하기 위해.
• 높은 영향력이 있는 연구에서 위조된 데이터 패턴을 폭 드러내어 연구의 신뢰성 향상에 기여하기 위해.

제안 방법

• 보고된 데이터의 생물학적 변동성에 대한 이론적 하한선을 계산하기 위해 다항분포 이론을 적용하였다.
• 이론적 최소값과 비교하여 보고된 DNA 절단 빈도의 관측된 변동성을 평가하여 비현실적으로 낮은 변동성을 탐지하였다.
• 보고된 데이터 포인트의 마지막 자릿수 분포를 분석하여 균일하지 않은 패턴을 탐지하였으며, 이는 조작의 알려진 징후이다.
• 마지재로 마지막 자릿수 분포가 기대되는 균일성에서 얼마나 벗어지는지 평가하기 위해 통계적 유의성 검정을 실시하였다.
• 동일 연구 그룹이 작성한 관련 논문의 데이터와 비교하여 일관된 이상 현상을 식별하였다.
• 기초 실험 기록에 접근할 수 없더라도 통계적 증거를 비의대에 제출하여 기관 심사 및 조치를 유도하였다.

실험 결과

연구 질문

• RQ1 REFLEX 연구에서 보고된 DNA 절단 데이터의 생물학적 변동성은 통계적으로 타당한가?
• RQ2 보고된 데이터의 마지막 자릿수 분포는 무작위 측정과 일치하는가, 아니면 조작의 징후인가?
• RQ3 다항분포 데이터의 변동성 이론적 하한선을 사용하여 생물학적 실험에서의 데이터 조작을 탐지할 수 있는가?
• RQ4 REFLEX 연구에서 관측된 데이터 패턴은 기대되는 통계 분포에서 얼마나 벗어나 있는가?
• RQ5 통계 도구는 출판된 생물의학 연구에서 과학적 부정행위를 독립적으로 식별할 수 있는가?

주요 결과

• 보고된 DNA 절단 데이터의 생물학적 변동성이 다항분포의 이론적 하한선 이하로 나타나 비현실적인 정밀도를 시사하였다.
• 보고된 데이터의 마지막 자릿수 분포는 균일하지 않음을 보였으며, 이는 데이터 조작의 알려진 경고 신호였다.
• 비의대는 결과를 확인하고 2005년 논문과 관련 연구의 데이터가 위조되었음을 결론 내렸다.
• 통계 분석 결과, 두 논문 모두 과학적 부정행위로 인해 철회되었다.
• 본 연구는 원본 실험 기록에 접근하지 못하더라도 통계 도구가 데이터 조작을 효과적으로 탐지할 수 있음을 입증하였다.
• 연구 결과는 특히 EMF 건강 영향과 같은 논란의 여지가 있는 고영향력 분야에서 생물학적 연구의 검증을 위한 통계적 검토의 중요성을 강조한다.