[论文解读] A new approach to optimal designs for correlated observations

Holger Dette, Maria Konstantinou+1 more|arXiv (Cornell University)|Jan 1, 2015

Optimal Experimental Design Methods参考文献 13被引用 2

一句话总结

本文提出了一种新颖的连续时间方法，用于构建线性回归模型中相关误差的最优设计与高效估计器。通过利用随机分析和Doob-Meyer分解，该方法将最佳线性无偏估计量（BLUE）表示为随机积分，从而实现与加权最小二乘估计器及其最优设计在实际中无法区分的离散近似——在无需非凸优化的情况下，实现了高效率与简便实现。

ABSTRACT

This paper presents a new and effcient method for the construction of optimal designs for regression models with dependent error processes. In contrast to most of the work in this field, which starts with a model for a finite number of observations and considers the asymptotic properties of estimators and designs as the sample size converges to infinity, our approach is based on a continuous time model. We use results from stochastic anal- ysis to identify the best linear unbiased estimator (BLUE) in this model. Based on the BLUE, we construct an efficient linear estimator and corresponding optimal designs in the model for finite sample size by minimizing the mean squared error between the opti- mal solution in the continuous time model and its discrete approximation with respect to the weights (of the linear estimator) and the optimal design points, in particular in the multi-parameter case. In contrast to previous work on the subject the resulting estimators and corresponding optimal designs are very efficient and easy to implement. This means that they are practi- cally not distinguishable from the weighted least squares estimator and the corresponding optimal designs, which have to be found numerically by non-convex discrete optimization. The advantages of the new approach are illustrated in several numerical examples.

研究动机与目标

• 解决具有依赖误差的回归模型最优设计构建的挑战，此类问题通常导致非凸优化问题。
• 克服渐近方法与离散时间方法的局限性，后者需要复杂的非凸数值优化来求解加权最小二乘估计器。
• 开发一种方法，使估计器与设计在实际中与最优加权最小二乘估计器及其对应设计无法区分。
• 为现有方法提供一种计算高效且可实现的替代方案，尤其适用于多参数模型。
• 基于随机积分与测度的绝对连续性，建立严格的连续时间框架，以推导BLUE。

提出的方法

• 该方法基于具有相关误差的连续时间线性回归模型，利用Doob-Meyer分解与C([a,b])上测度的绝对连续性，推导出最佳线性无偏估计量（BLUE）。
• BLUE表示为随机积分 ∫₀ᵇ ˙f(t) dYt，作为连续时间下的最优解。
• 在有限样本下，该方法最小化连续时间BLUE与其离散近似之间的均方误差，同时优化权重μi与设计点ti。
• 该方法利用伊藤公式与测度论工具，推导出协方差结构，并证明所得估计器的最优性。
• 在含截距项的模型中，该方法将常数项分离，并通过变换模型对剩余分量应用BLUE推导。
• 所得估计器为观测值的矩阵加权线性组合，设计点与权重的选择旨在最小化对连续时间解的近似误差。

实验结果

研究问题

• RQ1 连续时间随机模型能否在有限样本下产生与加权最小二乘估计器及其最优设计在实际中无法区分的最优估计器与设计？
• RQ2 在具有相关误差的连续时间模型中，最佳线性无偏估计量（BLUE）应如何表示与计算？
• RQ3 在均方误差与设计效率方面，连续时间BLUE与其离散近似之间存在何种关系？
• RQ4 所提方法能否在无需非凸离散优化的情况下，实现在多参数模型中的高效率？
• RQ5 包含截距项如何影响最优估计器与设计的推导与实现？

主要发现

• 所提估计器在渐近意义上与加权最小二乘估计器等价，并达到与基于完整轨迹在连续时间下推导出的最优线性无偏估计量（BLUE）相同的精度。
• 该方法产生的估计器与设计在实际中与最优加权最小二乘估计器及其对应最优设计无法区分，即使在多参数模型中亦然。
• 所得估计器易于实现，且无需求解复杂非凸离散优化问题，这与传统方法形成鲜明对比。
• 对于满足f(0) = 0的模型，BLUE简化为 ˆθBLUE = M⁻¹₀ ∫₀ᵇ ˙f(t) dYt，且 Var(ˆθBLUE) = M⁻¹₀，具有解析可处理性。
• 在含截距项的模型中（1 ∈ span{f₁,…,fₘ}），该方法将常数项分离，并通过 ∫₀ᵇ ˙˜f(t) dYt 推导剩余参数的BLUE，其协方差矩阵为 ˜M⁻¹₀。
• 即使采用均匀设计，该方法在误差过程为积分过程或具有平滑样本路径时，仍能实现高效率。