[논문 리뷰] Sampling techniques for big data analysis in finite population inference

Jae Kwang Kim, Zhonglei Wang|arXiv (Cornell University)|2018. 01. 29.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 16

한 줄 요약

이 논문은 유한 모집단 추론에서 대용량 데이터에 대한 편향 보정 샘플링 기법을 두 가지 제안한다: 외부 보조 데이터를 사용한 역 샘플링과 독립 확률 표본을 활용한 성향 스코어 가중치 통합. 두 방법 모두 선택 편향을 감소시키며, 더 나은 커버리지와 함께 편향 없는 추정치를 제공하여 시뮬레이션 연구에서 기존 방법들을 능가한다.

ABSTRACT

In analyzing big data for finite population inference, it is critical to adjust for the selection bias in the big data. In this paper, we propose two methods of reducing the selection bias associated with the big data sample. The first method uses a version of inverse sampling by incorporating auxiliary information from external sources, and the second one borrows the idea of data integration by combining the big data sample with an independent probability sample. Two simulation studies show that the proposed methods are unbiased and have better coverage rates than their alternatives. In addition, the proposed methods are easy to implement in practice.

연구 동기 및 목표

• 유한 모집단에 대한 추론을 할 때 대용량 데이터 샘플에서 발생하는 선택 편향 문제를 해결하는 데 초점을 맞춘다.
• 전체 확률 샘플링이 필요하지 않은 실용적이고 구현 가능한 방법을 개발한다.
• 보조 정보와 독립 확률 표본을 활용하는 두 가지 다른 접근 방식—역 샘플링과 데이터 통합—을 제안한다.
• 제안된 방법이 기존 대안보다 더 나은 최빈 빈도 커버리지 수준을 보이는 편향 없는 추정량을 생성하도록 보장한다.
• 제한적이지만 정보가 풍부한 시뮬레이션 연구를 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• 외부 자료에서 확보한 보조 정보를 활용해 비확률적 대용량 데이터 샘플에서 대표성 있는 샘플을 생성하는 새로운 역 샘플링 방법을 제안한다.
• 이중 단계 샘플링 원리를 적용하여 보조 변수에서 유도된 포함 확률 추정치에 기반해 대용량 데이터 단위를 재가중한다.
• 대용량 데이터 샘플과 독립 확률 표본을 융합하여 성향 스코어를 추정하는 데이터 통합 프레임워크를 도입한다.
• 결과 회귀 모델과 성향 스코어 모델을 모두 조합한 이중 강건 추정량을 사용하여, 두 모델 중 하나만 올바르게 지정되어도 일관성을 유지한다.
• 확률 표본에서 추정한 성향 스코어를 사용해 역 확률 가중치를 적용하여 인구 평균을 추정하며, 대용량 데이터 샘플의 선택 편향을 보정한다.
• 모델 잘못 지정에 대비해 강건성을 높이는 이중 강건 추정량을 사용하여 인구 평균을 추정하며, 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 보조 데이터를 활용한 역 샘플링이 대용량 데이터 샘플의 선택 편향을 줄일 수 있는가?
• RQ2 독립 확률 표본을 활용한 데이터 통합은 대용량 데이터 환경에서 추정 정확도를 어떻게 향상시키는가?
• RQ3 제안된 방법이 기존 대안보다 더 나은 커버리지 비율을 보이는 편향 없는 추정량을 생성하는가?
• RQ4 모델 잘못 지정 상황에서 유한 표본 설정에서 이중 강건 추정량의 성능은 어떠한가?
• RQ5 다양한 수준의 선택 편향 하에서 두 방법의 평균제곱오차와 커버리지 수준은 어떻게 비교되는가?

주요 결과

• 보조 정보를 통합함으로써 역 샘플링 방법이 선택 편향을 효과적으로 감소시켜 대용량 데이터에서 더 대표성 있는 샘플을 도출한다.
• 성향 스코어 가중치를 사용한 데이터 통합 접근 방식은 결과 회귀 모델 또는 성향 스코어 모델 중 하나만 올바르게 지정되어도 편향 없는 추정을 달성한다.
• 모든 시뮬레이션 연구에서 제안된 두 방법이 전통적 추정량보다 더 뛰어난 커버리지 비율을 보였다.
• 이중 강건 추정량은 결과 회귀 모델 또는 성향 스코어 모델 중 하나가 잘못 지정되어도 일관성을 유지한다.
• 제안된 방법은 계산이 단순하고 실생활 설문 조사 응용에 적합하도록 쉽게 구현할 수 있다.
• 시뮬레이션 결과는 제안된 방법이 선택 편향 하에서 표준 추정량보다 더 낮은 평균제곱오차와 더 나은 커버리지 수준을 달성함을 확인했다.