[논문 리뷰] Maximum sampled conditional likelihood for informative subsampling

HaiYing Wang, Jae Kwang Kim|arXiv (Cornell University)|2020. 11. 11.

Distributed Sensor Networks and Detection Algorithms참고 문헌 31인용 수 10

한 줄 요약

이 논문은 대용량 데이터에서 정보적 서브샘플링을 위한 최대 표본 조건부우도추정기(MSCLE)를 제안하며, 실현된 서브샘플링 확률을 사용하여 추정 효율성을 향상시킨다. MSCLE가 비편향 추정기 중에서 가장 작은 점근적 분산을 달성함을 증명하며, 특히 프리릴리프 모형이 잘못 설정된 경우 이론적·실제적으로도 역량이 뛰어나 inverse probability weighting(IPW)를 능가한다.

ABSTRACT

Subsampling is a computationally effective approach to extract information from massive data sets when computing resources are limited. After a subsample is taken from the full data, most available methods use an inverse probability weighted (IPW) objective function to estimate the model parameters. The IPW estimator does not fully utilize the information in the selected subsample. In this paper, we propose to use the maximum sampled conditional likelihood estimator (MSCLE) based on the sampled data. We established the asymptotic normality of the MSCLE and prove that its asymptotic variance covariance matrix is the smallest among a class of asymptotically unbiased estimators, including the IPW estimator. We further discuss the asymptotic results with the L-optimal subsampling probabilities and illustrate the estimation procedure with generalized linear models. Numerical experiments are provided to evaluate the practical performance of the proposed method.

연구 동기 및 목표

• 선택 확률이 공변량과 반응값에 모두 의존하는 정보적 서브샘플링에서 IPW의 비효율성을 해결하기 위해.
• 가중치에 의존하기보다는 선택된 서브샘플에 포함된 정보를 극대화하는 우도 기반 추정기 개발을 위해.
• 제안된 최대 표본 조건부우도추정기(MSCLE)의 점근적 정규성과 효율성을 확립하기 위해.
• MSCLE가 비편향 추정기의 일군에서 가장 낮은 점근적 분산을 달성함을 입증하기 위해.
• 프리릴리프 샘플을 사용하여 서브샘플링 확률을 추정하는 실용적인 추정 절차를 제공함으로써, 프리릴리프가 잘못 설정된 경우에도 적용 가능하도록 하기 위해.

제안 방법

• 선택된 데이터의 조건부 로그우도 기반으로 최대 표본 조건부우도추정기(MSCLE)를 제안한다.
• 가중치를 사용하는 대신, 실현된 서브샘플링 확률을 우도에 포함시켜 선택된 샘플 내 정보를 유지한다.
• 표본 로그우도를 $\ell_S(\bm{\theta} \mid \tilde{\bm{\vartheta}}_{\text{plt}}) = \sum_{i=1}^N \delta_i \left[ \log f(y_i \mid \bm{x}_i; \bm{\theta}) - \log \bar{\pi}_N(\bm{x}_i; \bm{\theta} \mid \tilde{\bm{\vartheta}}_{\text{plt}}) \right] + C$ 로 정의하며, 여기서 $\bar{\pi}_N$는 선택 확률의 조건부 기대값이다.
• 정규성 조건 하에서 MSCLE의 점근적 분포를 도출하며, 이는 스코어 및 헤시안 함수의 모멘트 유계 조건을 포함한다.
• MSCLE의 점근적 분산이 비편향 추정기 중에서 가능한 한 가장 작음을 증명하며, Cramér-Rao 하한을 달성함을 보여준다.
• 서브샘플링 확률을 추정하기 위해 프리릴리프 추정기 $\tilde{\bm{\vartheta}}_{\text{plt}}$ 를 사용하며, 이는 전체 데이터와 독립적이고 확률적으로 수렴한다고 가정한다.

실험 결과

연구 질문

• RQ1 실현된 서브샘플링 확률을 활용하는 우도 기반 추정기가 정보적 서브샘플링에서 IPW보다 더 높은 효율성을 달성할 수 있는가?
• RQ2 최대 표본 조건부우도추정기(MSCLE)가 비편향 추정기 중에서 최소 점근적 분산을 달성하는가?
• RQ3 프리릴리프가 잘못 설정된 경우, 즉 프리릴리프 추정기가 일致하지 않거나 편향이 있는 경우 MSCLE는 어떻게 성능을 보이는가?
• RQ4 일반적인 정보적 서브샘플링 설계 하에서 $n = o(N)$ 조건 하에 MSCLE의 점근적 분포는 어떻게 되는가?
• RQ5 프리릴리프 샘플을 사용하여 MSCLE를 실용적으로 구현할 수 있으며, 프리릴리프가 완벽하게 대표적이지 않은 경우에도 효율성을 유지하는가?

주요 결과

• MSCLE는 모든 점근적 비편향 추정기 중에서 가장 낮은 점근적 분산을 달성함을 입증하여 통계적 효율성을 확보하고 Cramér-Rao 하한에 도달함을 보였다.
• MSCLE는 IPW 추정기보다 프리릴리프 잘못 설정에 더 강인하며, 프리릴리프 추정기가 일치하지 않는 경우에도 양호한 성능을 유지한다.
• 정규성 조건 하에서 MSCLE의 점근적 정규성이 확립되었으며, 이는 스코어 및 헤시안 함수의 모멘트 유계 조건을 포함한다.
• 제안된 방법은 $n = o(N)$ 인 서브샘플 크기를 허용하여 대규모 데이터에서 상당한 계산 절감 효과를 제공한다.
• 수치 실험을 통해 MSCLE가 IPW보다 추정 효율성과 수렴 속도 면에서 뛰어나며, 특히 불균형하거나 희귀사건 설정에서 두각을 나타낸다.
• IPW와 달리 MSCLE는 선택 확률이 0에서 멀리 떨어져 있어야 한다는 제약이 없어, 고차원 또는 희소 서브샘플링 상황에서 더 유연하다.