[論文レビュー] Top Tips to Make Your Research Irreproducible

Neil Chue Hong, Tom Crick+3 more|arXiv (Cornell University)|Mar 31, 2015

Privacy-Preserving Technologies in Data参考文献 1被引用数 3

ひとこと要約

この皮肉を込めた論文は、計算科学研究における再現不可能性を意図的に高める戦略を風刺的に提示している。具体的には、手法の詳細を省略し、抽象的な疑似コードを使用し、データ共有を避け、自身ですら結果を再現できない状態を意図的に作ることを提唱する。主な貢献は、科学的出版の欠陥を暴露する皮肉めいた筋書きを通じて、劣悪な研究習慣をパロディ化した筋書きである。

ABSTRACT

It is an unfortunate convention of science that research should pretend to be reproducible; our top tips will help you mitigate this fussy conventionality, enabling you to enthusiastically showcase your irreproducible work.

研究の動機と目的

• 計算科学研究における再現不可能性の広がりを、一般的な劣悪な実践をパロディ化することで浮き彫りにする。
• 再現可能性や透明性よりも出版を重視する科学的出版文化を批判する。
• 曖昧な手法、コード・データ共有の欠如、過剰な引用依存が再現不可能性を助長する仕組みを暴露する。
• 再現可能性の原則を逆転させることで、研究者や査読者が、きびしい再現可能性のある科学とは何かを再考するよう挑戦する。

提案手法

• 詳細な実験設定の省略を提唱し、重要な実装詳細を隠すために高レベルで曖昧な記述にとどめる。
• 具体的なツールチェーンや手作業の介入を明かさずにアイデアを伝えるために、抽象的な疑似コードの使用を推奨する。
• 方法論的制限の省略を奨励し、スペースを節約。代わりに、インパクトの高い論文を引用することでhインデックスを高める。
• コミュニティ標準のデータセットで性能が芳しくない場合に備え、特許を取得した非公開ベンチマークの作成を推奨する。
• コードやデータの共有を避け、他人による結果の検証や実装の欠陥の発見を防ぐよう助言する。
• 核心的な戦略として、自身ですら再現できない状態を意図的に作ることを提唱する——つまり、故意の不注意により、他人による再現のリスクを完全に排除する。

実験結果

リサーチクエスチョン

• RQ1 研究者が、査読付きジャーナルでの受容を得つつも、意図的に研究を再現不能にするにはどうすればよいか？
• RQ2 どの程度の方法論の省略やごまかしが、疑いを招かずに再現を妨えるか？
• RQ3 共有されないデータ、コード、詳細な手法が、誤ったまたは検証されていない結果の持続にどのように寄与しているか？
• RQ4 現在の学術的インcentive構造は、透明性よりも再現不可能性をどのように奨励しているか？
• RQ5 査読プロセスにどのような構造的欠陥があり、再現不可能な研究が、正当な科学であるかのように出版・引用され続けているのか？

主な発見

• 論文は、再現不可能性が単なる偶然ではなく、手法、コード、データ共有の意図的省略によってしばしば助長されていることを示している。
• 抽象的な疑似コードの使用と実装詳細の省略は、他人が実際に計算プロセスを理解したり再現したりするのを効果的に防ぐ。
• 非公開の独自ベンチマークを設けることで、コミュニティ標準のデータセットでの検証を避けられ、検証不能な主張をしやすくなる。
• 著者らは、自身の研究でさえ再現できない状態にすれば、外部からの再現リスクは完全に排除され、研究は意図的に再現不能になると主張する。
• 論文は風刺めいた結論を述べる——再現不能な実験は、まったく実施されていないのと同等である。これは、検証不能な結果を正当な科学であるかのように扱うことに起因する非合理さを強調する。