[論文レビュー] A numerical variability approach to results stability tests and its application to neuroimaging

Yohan Chatelain, Loïc Tetrel+6 more|arXiv (Cornell University)|Jul 3, 2023

Parallel Computing and Optimization TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、神経画像解析における結果の安定性テストのための数値ばらつきアプローチを提案しており、浮動小数点演算のランダム丸めを用いて許容可能なばらつきの境界を推定する。fMRIPrepに適用した結果、内在的な数値ばらつきを許容しながら微細なアルゴリズム的変更を検出でき、長期にわたる神経画像解析研究における再現性を顕著に向上させた。

ABSTRACT

Ensuring the long-term reproducibility of data analyses requires results stability tests to verify that analysis results remain within acceptable variation bounds despite inevitable software updates and hardware evolutions. This paper introduces a numerical variability approach for results stability tests, which determines acceptable variation bounds using random rounding of floating-point calculations. By applying the resulting stability test to \fmriprep, a widely-used neuroimaging tool, we show that the test is sensitive enough to detect subtle updates in image processing methods while remaining specific enough to accept numerical variations within a reference version of the application. This result contributes to enhancing the reliability and reproducibility of data analyses by providing a robust and flexible method for stability testing.

研究の動機と目的

• ハードウェアやソフトウェアの進化に対しても、神経画像解析の長期的再現性を保証する課題に対処すること。
• 内在的な数値ばらつきに基づいて許容可能なばらつきの境界を定義する、堅牢で柔軟な安定性テストを開発すること。
• fMRIPrep（広く使われている神経画像前処理パイプライン）にこの手法を適用し、検証すること。
• 安定性テストが意味のあるアルゴリズム的変更を検出できるほど感度が高く、同時に自然な数値ばらつきに特異的であるようにすること。

提案手法

• ランダム丸め（浮動小数点結果を隣接する表現可能な値に丸める確率的算術技法）を用いて、数値ばらつきを推定する。
• 複数回の実行において、fMRIPrep（基準アプリケーション）にランダム丸めを適用することで、基準結果の帰無分布をサンプリングする。
• パラメトリックな統計的検定（式1）を用い、新しいバージョンや環境からの未変更結果を、変更された基準分布と比較する。
• 正規性の仮定を満たすために、空間的スムージング（FWHM ≥ 15 mm）を適用し、検定の特異性を向上させる。
• 再現性を保つために、テスト結果は決定論的実行を、基準分布サンプリング時のみにランダムな摂動を適用する。
• ボンフェローニ補正をボクセル間の多重比較に適用し、空間相関のため保守的であることを認識する。

Figure 1: Stability test construction and evaluation. The reference application $\Lambda$ is executed $n$ times on the input data, with random perturbations, resulting in images $X_{k}$ from which a null distribution is built to test the result produced by target application $\tilde{\Lambda}$ . All

実験結果

リサーチクエスチョン

• RQ1 ランダム丸めによる数値ばらつきの推定は、神経画像処理パイプラインにおける結果の安定性テストのための許容可能なばらつき境界を信頼性高く定義できるか？
• RQ2 提案された安定性テストは、fMRIPrepの前処理アルゴリズムにおける意味のある変更をどの程度感度良く検出できるか？
• RQ3 空間的スムージングは、安定性テストの特異性と統計的妥当性をどの程度向上させるか？
• RQ4 ハードウェア、オペレーティングシステム、並列化の違いが、テストが数値ノイズと実際のアルゴリズム的変更を区別する能力に与える影響は何か？
• RQ5 この手法は神経画像解析を越えて、他の科学的分野にも一般化可能か？

主な発見

• 安定性テストは、基準バージョン内の数値ばらつきを許容しながら、fMRIPrepにおける微細なアルゴリズム的変更を効果的に検出でき、高い感度と特異性を示した。
• ランダム丸めは、異なる乱数シードを用いた場合と同等のばらつきパターンを生成し、この手法の信頼性を高めるものであった。
• FWHMが15 mm以上の空間的スムージングが、検定の特異性を満足するためには不可欠であり、これはボクセル強度分布が統計的検定の正規性仮定と整合するようにするためであった。
• 被験者ごとのテスト性能にばらつきが見られたことから、多様な収集パラメータを持つ多様なデータセットを用いることで、堅牢性を確保することが重要であることが示された。
• ボンフェローニ補正を伴うパラメトリック検定は、計算効率が高く、テストの目的には十分であったが、ボクセル相関のため保守的である可能性がある。
• この手法は一般化可能であり、4D機能的神経画像データを含む他のデータタイプにも適用可能であり、今後の作業でフレームワークを拡張する計画である。

Figure 2: Voxel-wise means of significant bits measured across n=30 perturbed samples for RR and RS perturbations and 8 subjects.