[論文レビュー] Over-optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results

Christina Nießl, Moritz Herrmann+3 more|arXiv (Cornell University)|Jun 4, 2021

Meta-analysis and systematic reviews参考文献 58被引用数 38

ひとこと要約

この論文は、ベンチマーク研究における設計および分析上の選択（データセット選定、性能指標、集約手法など）が、方法の順位付けに顕著なばらつきをもたらし、過剰な楽観的傾向や偏った結論を生むことのリスクを示している。著者らは多変量アンフォールディングを用いて、各選択の影響を可視化・評価する体系的なフレームワークを提案し、計算ベンチマークの透明性と信頼性を向上させている。

ABSTRACT

In recent years, the need for neutral benchmark studies that focus on the comparison of methods from computational sciences has been increasingly recognised by the scientific community. While general advice on the design and analysis of neutral benchmark studies can be found in recent literature, certain amounts of flexibility always exist. This includes the choice of data sets and performance measures, the handling of missing performance values and the way the performance values are aggregated over the data sets. As a consequence of this flexibility, researchers may be concerned about how their choices affect the results or, in the worst case, may be tempted to engage in questionable research practices (e.g. the selective reporting of results or the post-hoc modification of design or analysis components) to fit their expectations or hopes. To raise awareness for this issue, we use an example benchmark study to illustrate how variable benchmark results can be when all possible combinations of a range of design and analysis options are considered. We then demonstrate how the impact of each choice on the results can be assessed using multidimensional unfolding. In conclusion, based on previous literature and on our illustrative example, we claim that the multiplicity of design and analysis options combined with questionable research practices lead to biased interpretations of benchmark results and to over-optimistic conclusions. This issue should be considered by computational researchers when designing and analysing their benchmark studies and by the scientific community in general in an effort towards more reliable benchmark results.

研究の動機と目的

• 設計および分析上の選択の柔軟性がもたらすベンチマーク研究における過剰な楽観的傾向のリスクを浮き彫りにすること。
• 設計および分析オプションの異なる組み合わせが、方法の順位付けを劇的に変える様子を示すこと。
• 多変量アンフォールディングを用いた体系的なフレームワークを提案し、各選択がベンチマーク結果に与える影響を評価すること。
• バイアスを低減するため、ベンチマーク研究における透明性、感度分析レポート、事前登録の推進を提言すること。
• コードおよびデータの共有を促進することで、計算研究における再現可能性と信頼性を高めること。

提案手法

• 著者らは、設計および分析オプションのすべての組み合わせを検討するため、実際のベンチマーク研究を事例として用いた。
• 多変量アンフォールディング（MDS）を用いて、異なる設計および分析選択における方法順位のばらつきを可視化した。
• フレームワークは、各個別の選択（例：性能指標、データセットサブセット）が最終的な順位に与える影響を定量的に評価する。
• この手法により、研究者が結果に最も強く影響を与える選択を特定し、的確な根拠付けを行うことができる。
• 図的表現により、代替設定下での順位の変化を感度分析として支援する。
• フレームワークは、ベンチマーク研究に統合可能であり、透明性の向上と選択的報告の低減を目的として設計されている。

実験結果

リサーチクエスチョン

• RQ1 異なる設計および分析選択の組み合わせが、ベンチマーク研究における方法順位にどのように影響を与えるか？
• RQ2 同じベンチマークデータでも、研究手法の選択によってどの程度異なる結論が得られるか？
• RQ3 どの設計および分析選択が、最終的な方法順位に最も大きな影響を与えるか？
• RQ4 研究者が各選択のベンチマーク結果への影響を体系的に評価するにはどうすればよいか？
• RQ5 過剰な楽観的傾向を低減し、ベンチマーク結果の信頼性を高めるにはどのような戦略が有効か？

主な発見

• 同じベンチマークデータでも、性能指標、データセットサブセット、集約手法の選択によって、方法の順位が著しく異なる結果が得られる。
• 多変量アンフォールディングの使用により、設計および分析意思決定に対する順位の感度が効果的に可視化され、結果を左右する重要な選択が明らかになった。
• 性能指標やデータセットグループの選定といった特定の選択が、方法順位に顕著に大きな影響を与えることが分かった。
• フレームワークにより、研究者が重要な意思決定を特定・正当化でき、後出しの根拠付けや選択的報告のリスクを低減できる。
• 研究者が期待に沿う選択を無意識に好むことで、ベンチマーク結果における過剰な楽観的傾向が生じるリスクが実証された。
• 著者らは、透明性、感度分析、コードおよびデータの共有が、ベンチマーク研究の信頼性と再現可能性を高めるために不可欠であると結論づけた。