[논문 리뷰] A new approach to optimal designs for correlated observations

Holger Dette, Maria Konstantinou외 1명|arXiv (Cornell University)|2015. 01. 01.

Optimal Experimental Design Methods참고 문헌 13인용 수 2

한 줄 요약

이 논문은 상관 오차를 가진 선형 회귀 모형에 대한 최적 설계와 효율적인 추정기 구축을 위한 새로운 연속시간 접근법을 제안한다. 스토하스틱 미적분과 Doob-Meyer 분해를 활용하여 최적의 선형 무편향 추정기(BLUE)를 스토하스틱 적분으로 표현함으로써 이산 근사가 가중 최소제곱 추정기 및 그 최적 설계와 실질적으로 동일한 성능을 보이며, 비볼록 최적화 없이도 높은 효율성과 구현 용이성을 제공한다.

ABSTRACT

This paper presents a new and effcient method for the construction of optimal designs for regression models with dependent error processes. In contrast to most of the work in this field, which starts with a model for a finite number of observations and considers the asymptotic properties of estimators and designs as the sample size converges to infinity, our approach is based on a continuous time model. We use results from stochastic anal- ysis to identify the best linear unbiased estimator (BLUE) in this model. Based on the BLUE, we construct an efficient linear estimator and corresponding optimal designs in the model for finite sample size by minimizing the mean squared error between the opti- mal solution in the continuous time model and its discrete approximation with respect to the weights (of the linear estimator) and the optimal design points, in particular in the multi-parameter case. In contrast to previous work on the subject the resulting estimators and corresponding optimal designs are very efficient and easy to implement. This means that they are practi- cally not distinguishable from the weighted least squares estimator and the corresponding optimal designs, which have to be found numerically by non-convex discrete optimization. The advantages of the new approach are illustrated in several numerical examples.

연구 동기 및 목표

• 의존적인 오차를 가진 회귀 모형에 대한 최적 설계를 구성하는 데 도전하는 것. 일반적으로 비볼록 최적화 문제를 야기한다.
• 가중 최소제곱 추정기의 복잡한 비볼록 수치 최적화가 필요로 하는 점근적 및 이산시간 접근법의 한계를 극복하는 것.
• 실질적으로 최적 가중 최소제곱 추정기 및 그에 해당하는 설계와 동일한 추정기와 설계를 도출하는 방법을 개발하는 것.
• 특히 다중 매개변수 모형에서 기존 방법에 비해 계산 효율성이 높고 구현이 용이한 대안을 제공하는 것.
• 스토하스틱 적분과 측도의 절대 연속성에 기반한 엄밀한 연속시간 프레임워크를 구축하여 BLUE를 유도하는 것.

제안 방법

• 상관 오차를 가진 연속시간 선형 회귀 모형을 기반으로 하며, Doob-Meyer 분해와 C([a,b]) 위에서의 측도의 절대 연속성을 활용하여 최적의 선형 무편향 추정기(BLUE)를 도출한다.
• BLUE는 연속시간 최적 해로써 스토하스틱 적분 ∫₀ᵇ ˙f(t) dYt 로 표현된다.
• 유한 표본에서는 연속시간 BLUE와 그 이산 근사 간의 평균 제곱오차를 최소화함으로써, 가중치 μi와 설계점 ti를 동시에 최적화한다.
• 이론적 도구로 이토의 공식과 측도론적 기법을 사용하여 공분산 구조를 도출하고, 유도된 추정기의 최적성을 증명한다.
• 상수항이 포함된 모형에서는 상수항을 분리하고, 변환된 모형을 통해 잔여 성분에 대해 BLUE 유도를 적용한다.
• 유도된 추정기는 관측치의 행렬 가중 선형 조합이며, 연속시간 해에 대한 근사 오차를 최소화하도록 설계점과 가중치를 선택한다.

실험 결과

연구 질문

• RQ1 연속시간 스토하스틱 모형이 유한 표본에서 가중 최소제곱 추정기 및 그 최적 설계와 실질적으로 동일한 최적 추정기와 설계를 도출할 수 있는가?
• RQ2 상관 오차가 있는 연속시간 모형에서 최적의 선형 무편향 추정기(BLUE)는 어떻게 표현하고 계산할 수 있는가?
• RQ3 평균 제곱오차와 설계 효율성 측면에서 연속시간 BLUE와 그 이산 근사 간의 관계는 어떠한가?
• RQ4 제안된 방법이 비볼록 이산 최적화를 요구하지 않고도 다중 매개변수 모형에서 높은 효율성을 달성할 수 있는가?
• RQ5 상수항을 포함할 경우 최적 추정기와 설계의 유도 및 구현에 어떤 영향을 미치는가?

주요 결과

• 제안된 추정기는 점근적으로 가중 최소제곱 추정기와 동치이며, 전체 경로를 기반으로 유도된 최적의 선형 무편향 추정기(BLUE)와 동일한 정밀도를 달성한다.
• 특히 다중 매개변수 모형에서도 실질적으로 최적 가중 최소제곱 추정기 및 그에 해당하는 최적 설계와 동일한 추정기와 설계를 생성한다.
• 유도된 추정기는 구현이 용이하며, 전통적인 방법과 달리 복잡한 비볼록 이산 최적화 문제를 해결할 필요가 없다.
• f(0) = 0 인 모형에서는 BLUE가 ˆθBLUE = M⁻¹₀ ∫₀ᵇ ˙f(t) dYt 로 단순화되며, Var(ˆθBLUE) = M⁻¹₀ 로 분석적으로 다룰 수 있다.
• 상수항이 포함된 모형(1 ∈ span{f₁,…,fₘ})에서는 상수항을 분리하고, 잔여 매개변수에 대해 ∫₀ᵇ ˙˜f(t) dYt 를 통해 BLUE를 도출하며, 공분산 행렬은 ˜M⁻¹₀ 가 된다.
• 오차 과정이 적분 가능하거나 매끄러운 표본 경로를 가지는 경우, 특히 균일 설계에서도 높은 효율성을 달성한다.