[논문 리뷰] Calibration and partial calibration on principal components when the number of auxiliary variables is large

Hervé Cardot, Camélia Goga외 1명|arXiv (Cornell University)|2014. 06. 30.

Survey Sampling and Estimation Techniques참고 문헌 26인용 수 12

한 줄 요약

이 논문은 보조 변수의 수가 많을 경우 주로 성분 기반 校정 방법을 제안하여 차원 감소를 통해 과도한 校정을 방지하고 추정 효율성을 향상시킨다. 대부분의 변동성을 유지하면서 첫 몇 개의 주성분에 대해 校정함으로써, 전체 校정보다 더 낮은 평균제곱오차(MSE)를 달성하며, 양의 가중치를 보장하고 효과적 변수 수를 15배 이상 감소시키는 데이터 기반 규칙을 제공한다.

ABSTRACT

In survey sampling, calibration is a very popular tool used to make total estimators consistent with known totals of auxiliary variables and to reduce variance. When the number of auxiliary variables is large, calibration on all the variables may lead to estimators of totals whose mean squared error (MSE) is larger than the MSE of the Horvitz-Thompson estimator even if this simple estimator does not take account of the available auxiliary information. We study in this paper a new technique based on dimension reduction through principal components that can be useful in this large dimension context. Calibration is performed on the first principal components, which can be viewed as the synthetic variables containing the most important part of the variability of the auxiliary variables. When some auxiliary variables play a more important role than the others, the method can be adapted to provide an exact calibration on these important variables. Some asymptotic properties are given in which the number of variables is allowed to tend to infinity with the population size. A data driven selection criterion of the number of principal components ensuring that all the sampling weights remain positive is discussed. The methodology of the paper is illustrated, in a multipurpose context, by an application to the estimation of electricity consumption for each day of a week with the help of 336 auxiliary variables consisting of the past consumption measured every half an hour over the previous week.

연구 동기 및 목표

• 보조 변수의 수가 많을 경우 과도한 校정이 발생하여 Horvitz-Thompson 추정량보다 추정량 성능이 떨어지는 문제를 해결한다.
• 주성분을 사용한 차원 감소 접근법을 개발하여 校정 가중치의 안정성과 총합 추정량의 분산을 감소시킨다.
• 특정 보조 변수가 다른 변수보다 더 중요하다고 판단될 경우, 그 변수들에 대해 정확한 校정을 유지한다.
• 양의 표본 가중치를 보장하고 MSE를 향상시키는 주성분 수를 선택하는 데이터 기반 선택 규칙을 제안한다.
• 모집단 크기와 보조 변수 수가 모두 무한대에 가까워질 때의 점근적 타당성을 제시한다.

제안 방법

• 보조 변수에 주성분 분석(PCA)을 적용하여 변동성의 대부분을 반영하는 소수의 상관관계가 없는 합성 변수(주성분)를 추출한다.
• 모든 원래 보조 변수가 아닌 첫 r개의 주성분에 대해 校정을 수행하며, 이를 합성 공변량으로 간주한다.
• 모집단 기반 또는 표본 기반 주성분을 사용하며, 후자의 경우 표본에서 주성분 회귀계수를 추정한다.
• 부분적 校정을 允가하는 정규화된 校정 프레임워크를 도입하여 핵심 변수에는 정확한 校정을, 나머지 성분에는 근사적 校정을 수행한다.
• 모든 표본 가중치가 양수로 유지되도록 주성분 수 r에 대한 데이터 기반 선택 기준을 구현한다.
• 주성분 회귀(PCR) 기반의 GREG 추정량과의 관계를 규명하여 다변량 회귀 분석에서 잘 알려진 기법을 활용한다.

실험 결과

연구 질문

• RQ1 보조 변수의 수가 많을 경우 주성분을 통한 차원 감소가 校정 성능을 향상시킬 수 있는가?
• RQ2 주성분에 대해 校정하는 것이 모든 보조 변수에 대해 전체 校정을 수행하는 것보다 더 낮은 평균제곱오차(MSE)를 초래하는가?
• RQ3 차원 감소를 하면서도 몇몇 핵심 보조 변수에 대해 정확한 校정을 유지할 수 있는가?
• RQ4 양의 표본 가중치를 보장하는 신뢰할 수 있는 데이터 기반 규칙으로 주성분 수를 선택할 수 있는가?
• RQ5 보조 변수 수와 주성분 수가 모집단 크기와 함께 무한대에 가까워질 때 어떤 점근적 성질이 성립하는가?

주요 결과

• 첫 몇 개의 주성분에 대해 校정하면 모든 보조 변수에 대해 전체 校정을 수행하는 것보다 총합 추정량의 평균제곱오차(MSE)가 크게 감소한다.
• 주성분 수에 대한 데이터 기반 선택 규칙은 모든 표본 가중치가 양수로 유지되며, 최적 조정을 가진 릿지 校정의 MSE와 유사한 성능을 달성한다.
• 평균적으로 이 방법은 효과적 校정 변수 수를 15배 이상 감소시켜 계산의 단순화와 안정성 향상에 크게 기여한다.
• 전기 소비 사례 연구에서, 336개의 보조 변수에 대해 전체 校정을 수행한 것에 비해 MSE가 약 50% 감소하였다.
• 주성분 수 r이 증가함에 따라 校정 오차(진짜 총합과의 편차)는 급격히 감소하며, r=1일 때 평균 약 1300에서 r=10일 때 약 600으로 감소하고, r=15를 넘어서는 추가 개선이 거의 없다.
• 주성분 수가 데이터 기반 규칙에 따라 자동으로 선택될 경우, MSE는 r=10일 때와 유사하지만 변동성이 약간 높아지며, 실용적 적용에서의 강건성을 시사한다.