[논문 리뷰] Distribution-Free Distribution Regression

Barnabás Póczos, Alessandro Rinaldo외 2명|arXiv (Cornell University)|2013. 02. 01.

Statistical Methods and Inference참고 문헌 18인용 수 53

한 줄 요약

이 논문은 관측된 유한한 표본을 통해만 알려진 알려지지 않은 확률분포에 의존하는 반응에 대해 분포 자유(distribution-free) 커널-커널 추정기(kernel-kernel estimator)를 제안한다. 미묘한 부드러움(smoothness)과 듀플리케이션 차원(doubling dimension) 조건 하에서, 이 방법은 모수적 또는 가우시안 오차 가정 없이도 예측 위험(prediction risk)에 대해 다항 수렴 속도를 달성하며, 표본화된 분포로부터 발생하는 측정 오차에 대해 강건하다.

ABSTRACT

Distribution regression refers to the situation where a response Y depends on a covariate P where P is a probability distribution. The model is Y=f(P)+e where f is an unknown regression function and e is a random error. Typically, we do not observe P directly, but rather, we observe a sample from P. In this paper we develop theory and methods for distribution-free versions of distribution regression. This means that we do not make strong distributional assumptions about the error term e and covariate P. We prove that when the effective dimension is small enough (as measured by the doubling dimension), then the excess prediction risk converges to zero with a polynomial rate.

연구 동기 및 목표

• 관측된 데이터 포인트가 아니라 알려지지 않은 확률분포에 의존하는 반응을 위한 분포 자유 회귀 방법을 개발하는 것.
• 유한한 i.i.d. 표본을 통해만 관측되는 분포로 인한 측정 오차 문제를 다루는 것.
• 오차 또는 공변량 분포에 대해 강력한 모수적 또는 분포 가정 없이 이론적 위험 경계를 설정하는 것.
• 드oubling 차원을 통해 내재 차원성(intrinsic dimensionality)을 기반으로 예측 위험의 수렴 속도를 규명하는 것.
• 진정한 분포가 알려져 있지 않고 오직 표본들만 이용 가능한 상황에서도 추정기가 효과적으로 유지되는지 확인하는 것.

제안 방법

• 커널-커널 추정기는 두 개의 커널을 사용한다: 하나는 표본으로부터 각 분포의 밀도를 추정하기 위한 (커널 밀도 추정을 통한), 다른 하나는 추정된 분포들 위에서 局부 평균화(local averaging)를 수행하기 위한.
• 추정기는 반응의 가중 평균을 계산하며, 이 가중치는 훈련 및 테스트 분포의 추정 밀도 간의 L1 거리에 기반한다.
• 밀도 추정 및 회귀 커널의 밴드폭은 적응적으로 선택되며, 일致성(consistency)을 보장하는 이론적 조건이 존재한다.
• 이 방법은 회귀 함수 f에 대한 허더링 연속성(Hölder continuity) 가정과 안정성을 확보하기 위한 리프시츠(Lipschitz), 컴팩트 지지(set) 커널에 의존한다.
• 이론적 위험 경계는 농도 불등식(concentration inequalities)과 메트릭 엔트로피(arguments)를 사용하여 유도되며, 최종적인 위험은 분포 공간의 듀플리케이션 차원에 따라 표현된다.
• 유한한 표본으로부터 분포를 추정하는 데 발생하는 표본 오차를 분석하여, 이 오차가 전체 위험에 다항적으로 감소하는 항으로 기여함을 보여준다.

실험 결과

연구 질문

• RQ1 모수적 형태의 분포나 오차 분포를 가정하지 않고도 분포 회귀에서 일致적인 예측을 달성할 수 있는가?
• RQ2 알려지지 않은 분포로부터의 유한한 표본만 관측 가능한 상황에서 예측 위험의 최적 수렴 속도는 무엇인가?
• RQ3 분포 공간의 내재 차원성 — 듀플리케이션 차원으로 측정되는 — 학습 속도에 어떤 영향을 미치는가?
• RQ4 유한한 표본을 통한 분포 추정에서 발생하는 측정 오차는 진정한 분포를 완전히 알고 있는 경우에 비해 성능을 크게 떨어뜨리는가?
• RQ5 기존 측정 오차 모델에서 관찰되는 로그 수렴 속도보다 빠른 속도를 달성할 수 있는가? 이 제안된 커널-커널 추정기는?

주요 결과

• 표본 수 m 이 많고, 듀플리케이션 차원을 통한 효과적 차원 d 가 작을 경우, 초과 예측 위험은 다항 수렴 속도 O(m^{-β/(2β+d)}) 로 0으로 수렴한다.
• 각 분포당 표본 수 n 이 클 경우, 위험 속도는 O(n^{-β/((k+2)(β+d+1))}) 로 표현되며, 이는 표본 추정 오차가 더 많은 표본을 통해 감소함을 보여준다.
• 최적의 밴드폭 선택은 h = Θ(m^{-1/(2β+d)}) 이며, 이는 밴드폭과 표본 크기의 가정이 渐近적으로 만족됨을 보장한다.
• n 이 m 에 비해 충분히 클 경우, 이 방법은 d 차원에서 표준 β-허더링 회귀와 동일한 속도를 달성하며, 이는 표본 오차가 이 영역에서 영향을 거의 미치지 않음을 시사한다.
• 위험 경계는 비가우시안 측정 오차에 대해 강건하며, 고정된 오차 분산으로 인해 로그 수렴 속도를 보이는 기존 모델과는 달리 성능 저하가 없다.
• 수치 실험을 통해 추정기는 베타 분포의 비대칭성과 기울인 가우시안의 엔트로피를 정확하게 예측하며, 예측값과 진짜 값이 밀접하게 일치함을 확인했다.