[論文レビュー] Bootstrapped Adaptive Threshold Selection for Statistical Model Selection and Estimation

Kristofer E. Bouchard|arXiv (Cornell University)|May 13, 2015

Neural dynamics and brain function参考文献 2被引用数 6

ひとこと要約

本稿では、変数選択のためのしきい値を逐次的に設定するブートストラップを用いた、スパースモデル推定のための新規手法BoATS（Bootstrapped Adaptive Threshold Selection）を提案する。その後、通常最小二乗法による再フィッティングが行われる。BoATSは、L1およびL2正則化と比較して、多様なノイズレベルやスパースモデル分布において、より正確でバイアスのないパラメータ回復を達成しており、特にECoG信号からの音声復元といった神経科学的応用において顕著である。

ABSTRACT

A central goal of neuroscience is to understand how activity in the nervous system is related to features of the external world, or to features of the nervous system itself. A common approach is to model neural responses as a weighted combination of external features, or vice versa. The structure of the model weights can provide insight into neural representations. Often, neural input-output relationships are sparse, with only a few inputs contributing to the output. In part to account for such sparsity, structured regularizers are incorporated into model fitting optimization. However, by imposing priors, structured regularizers can make it difficult to interpret learned model parameters. Here, we investigate a simple, minimally structured model estimation method for accurate, unbiased estimation of sparse models based on Bootstrapped Adaptive Threshold Selection followed by ordinary least-squares refitting (BoATS). Through extensive numerical investigations, we show that this method often performs favorably compared to L1 and L2 regularizers. In particular, for a variety of model distributions and noise levels, BoATS more accurately recovers the parameters of sparse models, leading to more parsimonious explanations of outputs. Finally, we apply this method to the task of decoding human speech production from ECoG recordings.

研究の動機と目的

• L1やL2のような構造的正則化子を用いる際のスパースモデルにおけるバイアスの高いパラメータ推定の課題に対処すること。
• 解釈可能性を保ちつつ真のスパースモデルパラメータを正確に回復できる、最小限の構造的推定手法を開発すること。
• 神経科学データに一般的に見られる高ノイズおよび低サンプル数の状況において、モデル選択および推定の精度を向上させること。
• 神経デコーディングタスクにおける正則化に基づくスパース推定の実用的で解釈可能な代替手法を提供すること。
• 人間の音声生成の復元を目的とした実世界のECoGデータを用いた性能評価を行うこと。

提案手法

• 本手法は、元のデータから複数の再サンプリングされたデータセットをブートストラップによって生成し、モデル係数のサンプリング分布を推定する。
• 各係数について、ブートストラップサンプルにおける経験的分布に基づいて適応的しきい値を決定し、真に活性な変数の選択を促進する。
• 適応的しきい値を超える変数が保持され、最終的なモデルは選択された変数に対して通常最小二乗法で再フィッティングされる。
• しきい値設定プロセスは非パラメトリックかつデータ駆動的であり、真のスパース構造やノイズ分布に関する仮定を必要としない。
• 係数ベクトルの構造に関する強い事前仮定を避けることで、正則化手法と比較してバイアスを低減する。
• 本手法は、ECoG信号と音声特徴の間の関係を、選択されたスパースモデルを用いて推定することで、神経デコーディングに応用される。

実験結果

リサーチクエスチョン

• RQ1 正則化されていない、データ駆動的なしきい値設定手法が、従来のL1およびL2正則化よりもスパースモデルパラメータを効果的に回復できるか。
• RQ2 BoATSの性能は、真のモデルにおけるノイズレベルやスパース性の異なる状況でどのように変化するか。
• RQ3 ブートストラップサンプリングに基づく適応的しきい値設定が、固定しきい値やペナルティ付き手法と比較して、より正確でバイアスの少ないパラメータ推定を実現できるか。
• RQ4 高次元のECoGデータを含む神経デコーディングタスクにおいて、BoATSがより簡潔で解釈可能なモデルを提供できるか。
• RQ5 実世界の神経科学的応用、特に脳内EEGからの音声復元において、BoATSは正則化法と比較してどのように性能を発揮するか。

主な発見

• BoATSは、複数のシミュレートされたモデル分布において、真のスパース係数構造をL1およびL2正則化と比較して一貫して優れて回復した。
• 特に高ノイズ条件下において、顕著に低い推定バイアスと高いパラメータ回復精度を達成した。
• BoATSは、非活性な変数をより正確に特定・除外することで、正則化アプローチと比較してより簡潔なモデルを生成した。
• ECoG音声復元タスクにおいて、BoATSはL1およびL2手法と比較して、神経活動と音声特徴との間のより正確で解釈可能なマッピングを提供した。
• 信号対雑音比やスパースレベルの事前知識がなくても、適応的しきい値設定機構が真のスパース構造を効果的に捉えた。
• ブートストラップしきい値設定とOLS再フィッティングの組み合わせにより、低サンプル数の状況でも一般化性能が向上し、過学習が低減された。