[논문 리뷰] Optimal designs in regression with correlated errors

Holger Dette, Andrey Pepelyshev외 1명|arXiv (Cornell University)|2015. 01. 01.

Optimal Experimental Design Methods참고 문헌 12인용 수 2

한 줄 요약

이 논문은 밀도가 있는 구간에서 상관된 오차를 가진 회귀 모델에서 최적 설계를 위한 완전한 해법을 제시한다. 수정된 일반 최소 제곱 추정량을 도입하고 오차 공분산 구조를 변환함으로써 저자들은 최적 선형 무एल추정량(BLUE)과 동일한 渐近적 효율성을 달성한다. 연속시간 모델에서 최적 설계와 BLUE에 대한 명시적 해석적 표현을 제공한다.

ABSTRACT

This paper discusses the problem of determining optimal designs for regression models, when the observations are dependent and taken on an interval. A complete solution of this challenging optimal design problem is given for a broad class of regression models and covariance kernels. We propose a class of estimators which are only slightly more complicated than the ordinary least-squares estimators. We then demonstrate that we can design the experiments, such that asymptotically the new estimators achieve the same precision as the best linear unbiased estimator computed for the whole trajectory of the process. As a by-product we derive explicit expressions for the BLUE in the continuous time model and analytic expressions for the optimal designs in a wide class of regression models. We also demonstrate that for a finite number of observations the precision of the proposed procedure, which includes the estimator and design, is very close to the best achievable. The results are illustrated on a few numerical examples.

연구 동기 및 목표

• 장기간에 걸친 상관 오차가 있는 회귀 모델에서 최적 설계 문제를 해결하기 위해.
• 최적 선형 무एल추정량(BLUE)과 동일한 渐近적 정밀도를 달성하는 수정된 일반 최소 제곱 추정량을 개발하기 위해.
• 일般 공분산 커널을 가진 연속시간 모델에서 최적 설계와 BLUE에 대한 명시적 해석적 표현을 유도하기 위해.
• 소규모 표본 크기에서도 근사 최적성을 유지하는지 검증하기 위해.

제안 방법

• 상관 오차를 고려한 수정된 OLS 추정량을 제안하여 오차 과정의 변환을 통한 처리를 수행한다.
• 도브 유형의 표현을 적용하여 상관 오차 과정을 표준 브라운 운동 유사 과정으로 변환한다.
• 변수 변화와 측도 변환을 통해 원래의 설계 문제를 독립 증분을 가진 표준형으로 매핑한다.
• 행렬 가중치 설계와 최적 설계를 기저 측도 및 공분산 구조의 변환을 통해 도출한다.
• 변환된 모델 하에서 수정된 OLS의 공분산 행렬과 BLUE의 공분산 행렬 간의 등가성을 입증한다.
• 연속시간 프레임워크에서 부호 있는 측도와 행렬 가중치 설계를 다루기 위해 르베그-스틸체스 적분을 활용한다.

실험 결과

연구 질문

• RQ1 상관 오차가 있는 회귀 모델에 대해, BLUE의 정밀도에 맞는 최적 설계를 구성할 수 있는가?
• RQ2 상관 구조 하에서 최적 설계 문제를 단순화하기 위해 오차 과정의 어떤 변환이 가능한가?
• RQ3 일반 공분산 커널을 가진 연속시간 회귀 모델에서 최적 설계와 BLUE에 대한 명시적 해석적 표현을 도출할 수 있는가?
• RQ4 유한 표본 크기에서 제안된 추정량과 설계의 성능은 이론적 최적에 얼마나 가까운가?
• RQ5 제안된 방법은 소규모 표본 크기에서도 강인하고 효율적인가?

주요 결과

• 제안된 수정된 OLS 추정량은 동일한 설계 하에서 BLUE와 동일한 渐近적 분산을 달성하여 최적의 정밀도를 효과적으로 구현한다.
• 도브 표현과 공분산 커널의 변환을 통해 연속시간 모델에서 BLUE에 대한 명시적 해석적 표현을 도출하였다.
• 측도 변환을 통해 광범위한 회귀 모델 및 공분산 커널 클래스에서 최적 설계를 닫힌 형태로 도출하였다.
• 유한 표본에서는 최적 설계 하에서 BLUE와의 효율 손실이 미미하며, 작은 N에서도 여전히 근사적으로 최적에 가깝다.
• 변환 프레임워크는 수정된 추정량의 공분산 행렬이 변환된 모델 하에서 BLUE의 공분산 행렬과 동일함을 보장하여 渐近적 등가성을 입증한다.
• 이 방법은 연속시간 모델에서 유도된 최적 전략을 이산적이고 유한 표본 설정에서 실용적으로 구현할 수 있게 하며, 효율 손실을 최소화한다.