[論文レビュー] You Can't Publish Replication Studies (and How to Anyways)

Ghulam Jilani Quadri, Paul Rosen|arXiv (Cornell University)|Aug 23, 2019

Scientific Computing and Data Management参考文献 38被引用数 4

ひとこと要約

本論文は、新規性が優先される可視化研究における再現研究の出版の難しさに取り組む。新規性を重視する文化の中で、再現研究を再評価・拡張・特化することで、新たな研究に統合する手法を提唱する。ClevelandとMcGillの図形的知覚に関する研究の再現を事例に、再現研究が科学的に厳密でありながら、出版可能であることを示している。

ABSTRACT

Reproducibility has been increasingly encouraged by communities of science in order to validate experimental conclusions, and replication studies represent a significant opportunity to vision scientists wishing contribute new perceptual models, methods, or insights to the visualization community. Unfortunately, the notion of replication of previous studies does not lend itself to how we communicate research findings. Simple put, studies that re-conduct and confirm earlier results do not hold any novelty, a key element to the modern research publication system. Nevertheless, savvy researchers have discovered ways to produce replication studies by embedding them into other sufficiently novel studies. In this position paper, we define three methods -- re-evaluation, expansion, and specialization -- for embedding a replication study into a novel published work. Within this context, we provide a non-exhaustive case study on replications of Cleveland and McGill's seminal work on graphical perception. As it turns out, numerous replication studies have been carried out based on that work, which have both confirmed prior findings and shined new light on our understanding of human perception. Finally, we discuss how publishing a true replication study should be avoided, while providing suggestions for how vision scientists and others can still use replication studies as a vehicle to producing visualization research publications.

研究の動機と目的

• 可視化およびHCI分野における再現研究の出版が、査読において新規性が優先されるという構造的課題に起因することを明らかにすること。
• 厳密な再現研究はほとんど受理されないが、新規研究貢献に統合することで、成功裏に出版可能であることを示すこと。
• 研究者が再現を新規研究に統合しながら学術的新規性を保つために、実行可能な戦略（再評価、拡張、特化）を提供すること。
• 再現と革新が共存できることを示し、視覚科学と可視化の交差点において、研究文化の転換を提唱すること。
• 査読者および学会が再現を科学的厳密性の価値ある要素と認識し、査読プロセスで「ボーナスポイント」を付与するよう促すこと。

提案手法

• 再評価：異なる年齢層・環境・分析手法を用いて、過去の研究を再評価し、妥当性の強化とバイアスの低減を図る。
• 拡張：新たな実験を追加することで、元の研究の範囲を超えた理解の深化や新たな知見の発見を図る。
• 特化：分野固有の知識を活用し、過去の知見を特定の分野や文脈に適用・精錬することで、新規な貢献を生み出す。
• 新規研究に再現を統合する：再現を基盤として、新規な手法的・概念的革新を構築し、出版に必要な新規性を確保する。
• 過去の研究から既存のデータや実験設計を活用し、新たな研究課題を生み出すが、新規データ収集を不要とする。
• ClevelandとMcGillの図形的知覚研究の再現を事例に、複数回の再現を通じて再現の体系的かつ検証可能な適用法を提示する。

実験結果

リサーチクエスチョン

• RQ1 なぜ再現研究は、科学的価値が高いうえで、可視化およびHCI分野でほとんど出版されないのか？
• RQ2 新規性が優先されるシステムにおいて、研究者が再現研究をどのように成功裏に出版できるか？
• RQ3 新規研究貢献に再現を統合するにあたり、オリジナルティを損なわずに有効な戦略は何か？
• RQ4 再評価、拡張、特化が、再現研究が新規出版に有意義に貢献する仕組みをどのように実現するか？
• RQ5 再現研究が、可視化研究における基礎的仮定の強化に果たす役割は何か？

主な発見

• 査読において新規性が優先されるため、可視化およびHCI分野における再現研究は体系的に出版が不足しており、HCI論文のうちたった3％しか再現研究を試みていない。
• 厳密な再現研究はほとんど受理されない。これは、応用論文と同様に、新規性が欠如していると見なされるためである。
• 再評価、拡張、特化は、再現研究を新規研究に統合する有効な戦略であり、基礎的知見の妥当性を検証しながら出版を可能にする。
• ClevelandとMcGillの図形的知覚研究に関する多数の再現研究が発表されており、元の知見が確認されるとともに、人間の知覚および図形的エンコードの有効性に関する新たな知見が明らかになった。
• 新規研究に再現を統合すること（例：新分野への応用、新手法によるデータ再分析）は、高影響力かつ出版可能な研究を生み出すことができる。
• 査読者および学会が再現の要素に「ボーナスポイント」を付与することで、再現性を向上させることができる。これは、データの公開が査読スコアを向上させるのと同様の仕組みである。