[論文レビュー] Boosting Functional Regression Models with FDboost

Sarah Brockhaus, David Rügamer+1 more|arXiv (Cornell University)|May 30, 2017

Statistical Methods and Inference参考文献 59被引用数 11

ひとこと要約

本稿では、モデルベースブースティングを用いて柔軟で高次元の関数的回帰モデルを可能にするRパッケージFDboostを紹介する。平均、分位数、GAMLSSモデルを用いたスカラー対関数、関数対スカラー、関数対関数回帰をサポートする。化石燃料分光法と生体電気信号解析の実世界応用を通じてその能力を示し、要因別歴史的効果やリサンプリングによるロバストなチューニングといった高度な機能を提供する。

ABSTRACT

The R add-on package FDboost is a flexible toolbox for the estimation of functional regression models by model-based boosting. It provides the possibility to fit regression models for scalar and functional response with effects of scalar as well as functional covariates, i.e., scalar-on-function, function-on-scalar and function-on-function regression models. In addition to mean regression, quantile regression models as well as generalized additive models for location scale and shape can be fitted with FDboost. Furthermore, boosting can be used in high-dimensional data settings with more covariates than observations. We provide a hands-on tutorial on model fitting and tuning, including the visualization of results. The methods for scalar-on-function regression are illustrated with spectrometric data of fossil fuels and those for functional response regression with a data set including bioelectrical signals for emotional episodes.

研究の動機と目的

• モデルベースブースティングを用いた多様な関数的回帰モデルのフィッティングを可能にする包括的で使いやすいRパッケージの開発。
• 関数的回帰における変数選択と縮約を伴う高次元関数的データの処理という課題への対応。
• ブースティングを、歴史的効果や相互作用構造を含む複雑な関数的応答モデルに対応させる拡張。
• ブートストラップと安定選択を用いたモデルチューニング、可視化、不確実性の定量化のための実用的ツールの提供。

提案手法

• モデルベースブースティングを用いて、損失関数を最小化するように反復的に単純なベース・リーナーを組み合わせ、関数的回帰モデルを推定する。
• スカラーおよび関数的予測変数のためのベース・リーナーは、適切な識別可能性制約とスムージングペナルティを伴って実装されている。
• 異なる損失関数を最小化することで、平均回帰、分位数回帰、GAMLSSをサポートし、応答分布のパラメータの柔軟なモデリングを可能にする。
• k分割交差検証や1人分の被験者を除いた交差検証などのリサンプリング手法を用いて、モデルチューニングおよび最適な停止反復回数の推定を行う。
• hmatrixオブジェクトを用いて、時間制限付き積分を通じて過去の関数的予測変数を現在の応答にリンクさせることで、歴史的効果をモデル化する。
• 行方向のテンソル積演算子 %X% と、時間依存効果をモデル化するための非等方的ペナルティ（%A%-演算子）を用いて、要因別歴史的効果をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースブースティングは、高次元設定下でのスカラーおよび関数的応答を伴う関数的回帰モデルに、どのように効果的に適応可能か？
• RQ2 FDboostは、スペクトルデータからの発熱量予測など、関数的予測変数からスカラー応答を予測する際、どのような性能を示すか？
• RQ3 FDboostは、時間依存効果、相互作用、被験者固有効果を含む、複雑な関数的応答データ（例：実験条件に影響を受けるEMG信号）をモデル化できるか？
• RQ4 リサンプリング手法を用いた関数的回帰において、最適なモデルチューニングおよび停止反復回数をどのように達成できるか？
• RQ5 FDboostは、関数的データ解析における要因別歴史的効果や非等方的スムージングといった高度なモデリング機能を、どの程度サポートできるか？

主な発見

• FDboostは、化石燃料の分光的データを用いたスカラー対関数回帰を成功裏にモデル化し、リサンプリング後に200反復目で最適な停止が達成された。
• 本パッケージは、生体電気信号データにおける関数対スカラーおよび関数対関数回帰モデルのフィッティングを可能にし、複雑な相互作用および歴史的効果を含む。
• 3方向相互作用と被験者固有効果を含む複雑なモデルは、約75分で15GBのRAMを用いてフィッティングされ、スケーラビリティが実証された。
• hmatrixと%X%演算子の使用により、関数的回帰における要因別歴史的効果の実装が初めて可能になり、新規な機能となった。
• 1人分の被験者を除いた交差検証を用いたリサンプリングにより、安定したチューニング結果が得られ、グリッドサーチ後に最適な停止反復回数が200と推定された。
• GAMLSSによるすべての分布パラメータの柔軟なモデリングをサポートし、ブートストラップと安定選択による不確実性の定量化を可能にする。