[論文レビュー] Application of the hierarchical bootstrap to multi-level data in neuroscience

Varun Saravanan, Gordon J Berman+1 more|PubMed|Jul 15, 2020

Neurobiology and Insect Physiology Research参考文献 42被引用数 23

ひとこと要約

本稿では、神経科学のマルチレベルデータセット（例：動物や試行間のニューロン）において、従来の統計手法が第1種の誤り率を著しく上昇させる問題を踏まえ、階層的ブートストラップを提示する。この手法は、各階層レベルを逐次的に再サンプリングすることで、誤り率を適切に維持するとともに、要約法よりも高い統計的パワーを発揮する。シミュレーションおよびサイレントバードとミツバチの実データにおいて、古典的検定およびLMMと比較して優れた性能を示した。

ABSTRACT

A common feature in many neuroscience datasets is the presence of hierarchical data structures, most commonly recording the activity of multiple neurons in multiple animals across multiple trials. Accordingly, the measurements constituting the dataset are not independent, even though the traditional statistical analyses often applied in such cases (e.g., Student's t-test) treat them as such. The hierarchical bootstrap has been shown to be an effective tool to accurately analyze such data and while it has been used extensively in the statistical literature, its use is not widespread in neuroscience - despite the ubiquity of hierarchical datasets. In this paper, we illustrate the intuitiveness and utility of this approach to analyze hierarchically nested datasets. We use simulated neural data to show that traditional statistical tests can result in a false positive rate of over 45%, even if the Type-I error rate is set at 5%. While summarizing data across non-independent points (or lower levels) can potentially fix this problem, this approach greatly reduces the statistical power of the analysis. The hierarchical bootstrap, when applied sequentially over the levels of the hierarchical structure, keeps the Type-I error rate within the intended bound and retains more statistical power than summarizing methods. We conclude by demonstrating the effectiveness of the method in two real-world examples, first analyzing singing data in male Bengalese finches (<i>Lonchura striata</i> var. <i>domestica</i>) and second quantifying changes in behavior under optogenetic control in flies (<i>Drosophila melanogaster</i>).

研究の動機と目的

• 神経科学分野で広く見られる、独立性を仮定する従来の統計的検定（例：t検定）の誤用——特に階層的構造を持つデータに対して適用される際の問題を解決すること。
• データポイントが独立でないマルチレベルデータセットにおいて、独立性を誤って仮定すると、シミュレーションで最大45％まで上昇する第1種の誤り率のリスクを強調すること。
• 要約法は第1種の誤り率を低減するが、統計的パワーを著しく低下させることを示すこと。
• 統計的パワーを維持しながら誤り率を適切に保つ優れた代替手法として、階層的ブートストラップを提案すること。
• サイレントバードの発声行動およびドーパミンの光遺伝学的行動実験における実世界の応用を通じて、この手法の実用的有用性を提示すること。

提案手法

• データの階層構造（例：試行、ニューロン、動物）の各レベルを順番に再サンプリングすることで、階層的ブートストラップを適用する。
• 各階層レベルで非パラメトリックな再サンプリング（復元抽出）を実施し、帰無仮説下での検定統計量の分布を生成する。
• p_boot（ブートストラップp値）を、観測値と同等以上に極端な統計量を示すブートストラップ再試行の割合として計算する。
• シミュレーションおよび実データ（サイレントバード、ミツバチ）を用いて、階層的ブートストラップの性能を従来のt検定、要約法、線形混合モデル（LMM）と比較する。
• PythonおよびJupyterノートブックを用いて実装し、再現性を確保するためGitHubにオープンソースコードを公開する。
• p値ではなく直接確率（p_boot）を報告することで、仮説の裏付けとなる証拠の解釈をより直感的に行えるようにする。

実験結果

リサーチクエスチョン

• RQ1 独立でない階層的神経科学データセットにおいて、従来の統計的検定（例：t検定）は、第1種の誤り率をどの程度まで上昇させるか？
• RQ2 階層的ブートストラップは、要約法やLMMと比較して、第1種の誤り率と統計的パワーをどの程度適切に維持できるか？
• RQ3 階層的ブートストラップは、サイレントバードの発声行動やミツバチにおける光遺伝学的行動といった、複雑な階層的構造を持つ実世界の神経科学データにおいて、真の効果を検出できるか？
• RQ4 階層的ブートストラップが直接確率（p_boot）を出力することで、従来のp値と比較して解釈性がどのように向上するか？
• RQ5 LMMは、ランダム効果を柔軟にモデル化できるが、小標本かつネスト構造を持つ神経科学データセットでは、なぜ誤った結果を生じる可能性があるのか？

主な発見

• 独立性を誤って仮定する従来のt検定は、擬似再試行（pseudoreplication）と独立性の違反により、5％設定でも第1種の誤り率が45％を超えることがある。
• 要約法は第1種の誤り率を低減するが、統計的パワーを著しく低下させ、偽陰性率が上昇する。
• 階層的ブートストラップは、名目上の第1種の誤り率（5％以内）を維持するとともに、要約法よりも高い統計的パワーを発揮する。
• サイレントバードの研究では、階層的ブートストラップにより、同タイプの音節における適応的一般化の確率が0.85に達し、効果の強い証拠が示されたが、従来の手法では信頼性なく検出できなかった。
• ドーパミンの光遺伝学的実験では、従来の手法が偽陽性を示した一方、要約法では有意差が得られなかったが、階層的ブートストラップは有意な行動的効果を特定した。
• サイレントバードのデータにおいてLMMは直感に反する結果を示した——非適応的一般化に対しては有意な効果が認められたが、適応的一般化に対しては有意でなかった——これはモデル仕様の問題や小標本におけるバイアスの可能性を示唆している。