[논문 리뷰] Correcting the bias in least squares regression with volume-rescaled sampling

Michał Dereziński, Manfred K. Warmuth외 1명|arXiv (Cornell University)|2018. 10. 04.

Medical Image Segmentation Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 무작위 설계 하에서 최소 제곱 회귀의 편향을 보정하기 위한 방법을 제안한다. i.i.d. 표본에 크기가 $d$인 부피 조정 표본을 추가하여 통합된 추정량이 비편향이 되도록 보장한다. 이 방법은 점들이 형성하는 부피의 제곱에 비례하여 확률적으로 선택하는 부피 조정 표본 추출 방식을 사용하며, 이는 전체 분포가 알려지지 않은 경우에도 비편향 추정이 가능하게 한다.

ABSTRACT

Consider linear regression where the examples are generated by an unknown distribution on $R^d imes R$. Without any assumptions on the noise, the linear least squares solution for any i.i.d. sample will typically be biased w.r.t. the least squares optimum over the entire distribution. However, we show that if an i.i.d. sample of any size k is augmented by a certain small additional sample, then the solution of the combined sample becomes unbiased. We show this when the additional sample consists of d points drawn jointly according to the input distribution that is rescaled by the squared volume spanned by the points. Furthermore, we propose algorithms to sample from this volume-rescaled distribution when the data distribution is only known through an i.i.d sample.

연구 동기 및 목표

• 데이터가 알려지지 않은 분포에서 i.i.d.로 표본 추출될 때, 특히 무작위 설계 설정에서 최소 제곱 추정량의 내재된 편향을 해결한다.
• 노이즈 분포가 임의일지라도 정규화 없이도 비편향 최소 제곱 추정량을 생성할 수 있는 방법을 개발한다.
• 입력 특징의 공동 분포를 고려하여 이산 부피 표본 추출을 연속 분포로 일반화하기 위해 부피 조정 표본 추출을 도입한다.
• 기본 분포에서의 i.i.d. 표본만 가용할 때 부피 조정 분포에서의 표본 추출을 위한 효율적인 알고리즘을 제공한다.
• 특히 정규 분포 및 유한 지지도 분포에 대해 부피 조정 표본 추출의 시간 복잡도와 표본 복잡도를 향상시킨다.

제안 방법

• 크기가 $k$인 임의의 i.i.d. 표본에, 점들이 형성하는 부피의 제곱에 비례하여 확률적으로 선택된 크기가 $d$인 표본을 추가한다.
• 카우치-바인 공식을 사용하여 통합된 표본이 크기가 $k+d$인 부피 조정 표본 추출을 따르며, 최소 제곱 해가 비편향임을 보장한다.
• 행렬식 기반 거부 표본 추출을 사용하여 연속 영역에서의 부피 조정 표본 추출을 위한 새로운 알고리즘을 제안하며, 시간 복잡도를 $O(d)$로 향상시켰다.
• 모르는 공분산을 가진 정규 분포에 대해, 부피 조정 표본 추출을 위한 $O(d)$ 표본 복잡도를 달성하는 새로운 알고리즘을 도입한다.
• 행렬 체르노프 경계를 활용하여, $O(K_{D_{ ext{X}}} d ext{ poly}( ext{log}(d/ u)))$개의 표본을 사용해 고정 확률로 공분산 행렬을 추정할 수 있음을 보장한다. 여기서 $K_{D_{ ext{X}}}$는 진짜 공분산의 조건수이다.
• 거부 표본 추출의 성공 확률을 보장하기 위해 캔토로비치 부등식과 조화 평균 경계를 사용하여, 반복마다 일정한 성공 확률을 확보한다.

실험 결과

연구 질문

• RQ1 노이즈 분포가 알려지지 않은 상태에서, 정규화 없이도 무작위 설계 하에서 최소 제곱 회귀의 편향을 보정할 수 있는가?
• RQ2 표본화된 점들이 형성하는 부피의 제곱에 비례하여 표본 추출 분포를 조정함으로써 이산 부피 표본 추출을 연속 분포로 일반화할 수 있는가?
• RQ3 기본 분포에서의 i.i.d. 표본만 가용할 때, 부피 조정 표본 추출의 시간 복잡도와 표본 복잡도는 어떻게 되는가?
• RQ4 행렬 농도 불등식을 사용하여 거부 표본 추출의 성공 확률을 경계하고 향상시킬 수 있는가?
• RQ5 부피 조정 표본 추출을 상당히 감소된 표본 복잡도로 수행할 수 있는 분포 가족(예: 정규 분포)이 존재하는가?

주요 결과

• 크기가 $k$인 i.i.d. 표본에 크기가 $d$인 부피 조정 표본을 추가하면, 통합된 표본은 크기가 $k+d$인 부피 조정 표본 추출을 따르며, 이로 인해 최소 제곱 해가 비편향이 된다.
• 부피 조정 표본 추출을 위한 거부 표본 추출 절차의 성공 확률은 캔토로비치 부등식과 조화 평균 경계를 통해 최소 $1/4$ 이상 확보된다.
• 향상된 행렬식 기반 거부 표본 추출의 시간 복잡도는 이전 작업 대비 $d$ 배 감소하여, 표본당 $O(d^4)$로 도달한다.
• 모르는 공분산을 가진 정규 분포에 대해 제안된 알고리즘이 부피 조정 표본 추출에서 $O(d)$ 표본 복잡도를 달성한다.
• 데이터 분포의 공분산 행렬은 $O(K_{D_{ ext{X}}} d ext{ poly}( ext{log}(d/ u)))$개의 표본을 사용해 고정 확률로 추정할 수 있으며, 여기서 $K_{D_{ ext{X}}}$는 진짜 공분산의 조건수이다.
• 거부 표본 추출 루프를 위한 반복 횟수는 고정 확률 $1-\delta$로 $O(\ln(1/\delta))$ 이하로 경계되며, 이는 효율적인 수렴을 보장한다.