[논문 리뷰] Over-optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results

Christina Nießl, Moritz Herrmann외 3명|arXiv (Cornell University)|2021. 06. 04.

Meta-analysis and systematic reviews참고 문헌 58인용 수 38

한 줄 요약

이 논문은 벤치마크 연구에서의 설계 및 분석 선택 사항—예를 들어 데이터셋 선택, 성능 측정 방법, 집계 방법—이 매우 다양하게 변하는 방법 순위를 초래하며, 이는 과도한 낙관과 편향된 결론을 낳는다. 다차원 편평화( multidimensional unfolding)를 사용하여 저자들은 각 선택 사항의 영향을 시각화하고 평가할 수 있는 체계적인 프레임워크를 제안함으로써 계산 벤치마킹의 투명성과 신뢰성을 향상시킨다.

ABSTRACT

In recent years, the need for neutral benchmark studies that focus on the comparison of methods from computational sciences has been increasingly recognised by the scientific community. While general advice on the design and analysis of neutral benchmark studies can be found in recent literature, certain amounts of flexibility always exist. This includes the choice of data sets and performance measures, the handling of missing performance values and the way the performance values are aggregated over the data sets. As a consequence of this flexibility, researchers may be concerned about how their choices affect the results or, in the worst case, may be tempted to engage in questionable research practices (e.g. the selective reporting of results or the post-hoc modification of design or analysis components) to fit their expectations or hopes. To raise awareness for this issue, we use an example benchmark study to illustrate how variable benchmark results can be when all possible combinations of a range of design and analysis options are considered. We then demonstrate how the impact of each choice on the results can be assessed using multidimensional unfolding. In conclusion, based on previous literature and on our illustrative example, we claim that the multiplicity of design and analysis options combined with questionable research practices lead to biased interpretations of benchmark results and to over-optimistic conclusions. This issue should be considered by computational researchers when designing and analysing their benchmark studies and by the scientific community in general in an effort towards more reliable benchmark results.

연구 동기 및 목표

• 설계 및 분석 선택의 유연성으로 인해 발생하는 벤치마크 연구에서의 과도한 낙관의 위험을 부각시키기 위해.
• 다양한 설계 및 분석 옵션 조합이 방법 순위에 근본적으로 영향을 미칠 수 있음을 설명하기 위해.
• 각 선택 사항이 벤치마크 결과에 미치는 영향을 평가하기 위해 다차원 편평화를 활용한 체계적인 프레임워크를 제안하기 위해.
• 선택적 보고를 줄이고 편향을 줄이기 위해 벤치마크 연구에서 더 큰 투명성, 민감도 보고, 사전 등록을 촉진하기 위해.
• 코드와 데이터 공유를 장려함으로써 복제 가능성과 신뢰성을 향상시키기 위해 계산 연구의 복제 가능성과 신뢰성을 높이기 위해.

제안 방법

• 저자들은 설계 및 분석 옵션의 모든 가능한 조합을 탐색하기 위해 실제 벤치마크 연구를 사례 연구로 사용한다.
• 다차원 척도화(MDS)를 적용하여 다양한 설계 및 분석 선택 사항에 따른 방법 순위의 변동성을 시각화한다.
• 각 개별 선택 사항(예: 성능 측정 방법, 데이터셋 하위집합)이 결과 순위에 미치는 영향을 정량화한다.
• 연구자들이 결과에 가장 크게 영향을 미치는 선택 사항을 식별하고, 이를 체계적으로 정당화할 수 있도록 한다.
• 그래픽적으로 다른 구성 조건 하에서 순위가 어떻게 변화하는지 표현함으로써 민감도 분석을 지원한다.
• 투명성 향상과 선택적 보고 감소를 위해 벤치마크 연구에 통합될 수 있도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 다양한 설계 및 분석 선택 사항의 조합이 벤치마크 연구에서 방법 순위에 어떻게 영향을 미치는가?
• RQ2 동일한 벤치마크 데이터가 메트릭 선택에 따라 어떻게 다를 수 있는가?
• RQ3 설계 및 분석 선택 사항 중에서 최종 방법 순위에 가장 큰 영향을 미치는 것은 무엇인가?
• RQ4 연구자들이 각 선택 사항이 벤치마크 결과에 미치는 영향을 체계적으로 평가하는 방법은 무엇인가?
• RQ5 과도한 낙관을 줄이고 벤치마크 결과의 신뢰성을 향상시키기 위한 전략은 무엇인가?

주요 결과

• 동일한 벤치마크 데이터라도 성능 측정 방법, 데이터셋 하위집합, 집계 방법의 선택에 따라 매우 다른 방법 순위를 낳을 수 있다.
• 다차원 편평화를 사용하면 설계 및 분석 결론에 대한 순위 민감도를 효과적으로 시각화할 수 있으며, 결과를 이끄는 핵심 선택 사항을 드러낸다.
• 성능 측정 방법이나 데이터셋 그룹 선택과 같은 특정 선택 사항은 방법 순위에 비례하지 않게 큰 영향을 미친다.
• 이 프레임워크는 핵심 결정 사항을 식별하고 정당화할 수 있도록 하여 사후 정당화와 선택적 보고의 위험을 줄인다.
• 연구자들이 기대에 부합하는 선택 사항을 무의식적으로 선호함으로써 벤치마크 결과에서 과도한 낙관이 실제로 발생할 수 있음을 연구가 입증한다.
• 저자들은 투명성, 민감도 분석, 코드 및 데이터 공유가 벤치마크 연구의 신뢰성과 복제 가능성 향상에 필수적이라고 결론 내린다.