[논문 리뷰] Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression

Lei Han, Kean Ming Tan외 2명|arXiv (Cornell University)|2016. 04. 27.

Advanced Statistical Methods and Models참고 문헌 13인용 수 5

한 줄 요약

이 논문은 예측 불확실성에 기반해 데이터 포인트를 선택함으로써 추정기 분산을 최소화하는 대규모 다중 클래스 로지스틱 회귀를 위한 부분표본 추출 방법인 국소 불확실성 샘플링(LUS)을 제안한다. LUS는 균일 샘플링 및 케이스-컨트롤 샘플링보다 더 낮은 분산을 달성하면서 더 적은 샘플 수로도 성능을 냅니다. 특히 조건부 클래스 불균형 상황에서 뛰어난 성능을 보이며, 초기 추정치가 무작위일 경우에도 일관된 성능을 보이는 이론적 근거를 지닙니다.

ABSTRACT

A major challenge for building statistical models in the big data era is that the available data volume far exceeds the computational capability. A common approach for solving this problem is to employ a subsampled dataset that can be handled by available computational resources. In this paper, we propose a general subsampling scheme for large-scale multi-class logistic regression and examine the variance of the resulting estimator. We show that asymptotically, the proposed method always achieves a smaller variance than that of the uniform random sampling. Moreover, when the classes are conditionally imbalanced, significant improvement over uniform sampling can be achieved. Empirical performance of the proposed method is compared to other methods on both simulated and real-world datasets, and these results match and confirm our theoretical analysis.

연구 동기 및 목표

• 기하학적 데이터셋을 가진 대규모 다중 클래스 로지스틱 회귀에서 높은 계산 비용 문제를 해결하기 위해.
• 계산 가능성을 유지하면서 부분표본 추정기의 통계적 분산을 줄이기 위해.
• 데이터의 불확실성과 클래스 불균형, 특히 조건부 불균형에 적응하는 샘플링 전략을 개발하기 위해.
• 기존의 국소 케이스-컨트롤 방법을 다중 클래스 설정으로 일반화하고 이론적 보장을 제공하기 위해.
• LUS가 균일 샘플링 및 케이스-컨트롤 샘플링보다 더 뛰어난 통계적 효율성을 보임을 경험적으로 검증하기 위해.

제안 방법

• 파ilot 추정치를 기반으로 예측 불확실성이 높은 데이터 포인트일수록 더 높은 수용 확률을 부여하는 국소 불확실성 샘플링(LUS)을 제안한다.
• 작은 균일 표본에서 유도된 일관된 파ilot 추정치를 사용하여 조건부 확률을 추정하고 불확실한 샘플을 식별한다.
• 각 클래스의 예측 확률 질량의 역수에 비례하여 수용 확률을 할당하여 불확실한 예측을 우선시한다.
• 최종 추정기의 일관성과 편향 감소를 위해 보정 방법을 적용하며, 특히 모델 오류가 있을 경우에 유용하다.
• LUS 추정기의 渐近 분산을 유도하고, 이가 항상 균일 샘플링보다 작다는 것을 보여준다.
• 모수 K > 2인 경우에도 마진형 및 조건부 불균형 데이터를 모두 다룰 수 있도록 방법을 확장하고, 이론적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 균일 샘플링에 의존하지 않고 대규모 다중 클래스 로지스틱 회귀에서 추정기 분산을 줄일 수 있는 부분표본 추출 방법을 설계할 수 있는가?
• RQ2 조건부 불균형 하에서 LUS의 점근적 분산은 균일 샘플링 및 케이스-컨트롤 샘플링보다 어떻게 다를까?
• RQ3 LUS의 성능은 파ilot 추정치의 품질에 의존하는가? 그리고 파ilot이 무작위일 경우에도 일관성이 유지되는가?
• RQ4 모델 오류가 LUS 추정기에 미치는 영향은 무엇인가? 특히 K > 2인 경우에 대해 설명할 수 있는가?
• RQ5 Lasso나 그룹 Lasso와 같은 정규화 기법을 적용한 고차원 설정으로 LUS를 확장할 수 있는가?

주요 결과

• LUS는 주어진 기대 표본 크기에서 항상 균일 샘플링보다 낮은 점근적 분산을 달성하며, 강한 조건부 불균형 상황에서의 개선 효과가 가장 두드러진다.
• LUS와 LCC가 동일한 점근적 분산을 가지는 경우(예: γ = 1.5), LUS는 LCC보다 더 적은 부분표본 데이터 포인트(nSub/n)를 필요로 한다.
• 경험적 결과에 따르면, LUS는 모든 테스트된 부분표본 비율(nSub/n = 0.15에서 0.3)에서 LCC보다 낮은 분산을 보이며, nSub/n = 0.3일 때 평균 분산은 각각 1.62와 1.73이다.
• 파ilot 추정치의 무작위성에 관계없이, LUS 추정기의 분산은 일관된 파ilot이 있으면 일정하고 독립적이다.
• K=2인 경우, 파ilot이 일관될 경우 모델 오류가 있을 때조차도 LUS는 일관된 추정기를 생성한다. K>2인 경우 추정기는 편향이 있지만 이 편향은 정량화 가능하다.
• 웹 스팸 데이터에서 LUS는 전체 데이터 MLE와 동일한 성능을 15~30%의 데이터로 달성하며, 분산과 표본 효율성 측면에서 LCC 및 균일 샘플링을 능가한다.