[논문 리뷰] A Short Note on Concentration Inequalities for Random Vectors with SubGaussian Norm

Chi Jin, Praneeth Netrapalli외 3명|arXiv (Cornell University)|2019. 02. 11.

Point processes and geometric inequalities참고 문헌 2인용 수 51

한 줄 요약

이 노트는 norm-subGaussian 확률 벡터(nSG)를 도입하고, 노름의 집중에 초점을 둘 때 표준 subGaussian 경계보다 향상된 타이트한 집중 경계를 증명하며, 로그 요인까지 타이트한 결과를 보인다.

ABSTRACT

In this note, we derive concentration inequalities for random vectors with subGaussian norm (a generalization of both subGaussian random vectors and norm bounded random vectors), which are tight up to logarithmic factors.

연구 동기 및 목표

• 노름이 강하게 집중하는 것이 아니라 각 투영이 subGaussian인 것을 보장하는 확률 벡터의 집중에 대한 연구를 동기화한다.
• norm-subGaussian 확률 벡터(nSG)를 subGaussian과 bound된 노름 벡터를 포함하는 자연스러운 일반화로 정의한다.
• 동등한 특성화와 차원의 로그 요인에 맞춰 subGaussian 경계와 일치하는 벡터 집중 경계를 도출한다.

제안 방법

• norm-subGaussian(nSG) 정의를 도입하고 이것이 subGaussian 및 bound된 노름 벡터를 포함함을 보인다.
• 꼬리, 모멘트 및 초지수 초과(moment bound) 경사(bounds)를 통해 nSG의 동등한 특성화를 입증한다.
• Y-행렬을 사용하는 행렬-MGF 기반 접근법으로 노름 기반 MGFs를 다루고 Lieb의 concavity 정리를 적용한다.
• 조건부 버전(랜덤 또는 고정 시그마)에서 독립적인 nSG 벡터들의 합에 대한 주요 집중 경bound을 도출한다.
• 일반적인 경계를 Hoeffding 유형 부등식과 차원의 로그 의존성을 갖는 두 가지 경우의 bound로 특수화한다.

실험 결과

연구 질문

• RQ1 노름 자체의 집중을 포착하기 위해 norm-subGaussian 벡터를 어떻게 정의하고 특성화할 수 있는가?
• RQ2 랜덤 또는 데이터 의존적 subGaussian 매개변수를 갖는 경우를 포함하여, norm-subGaussian 벡터들의 합에 대한 어떤 집중 경계가 설정될 수 있는가?
• RQ3 이 경계들이 차원 의존성 측면에서 전통적인 subGaussian 경계와 어떻게 비교되는가?
• RQ4 벡터 설정에 대해 Hoeffding의 부등식에 비견될 수 있는 실용적의 결론들을 도출할 수 있는가?

주요 결과

• Norm-subGaussian 벡터(nSG)는 subGaussian 및 bound된 노름 벡터를 일반화하며, 집중 경계는 매개변수 σ에 따라 달라진다.
• nSG의 꼬리, 모멘트 및 초지수 모멘트 경계에 대한 동등한 특성화가 존재하며, 절대 상수까지 포함된다.
• X가 제로 평균 nSG(σ)이면 ||X||^2는 subexponential이고, 고정된 단위 투영 ⟨v,X⟩는 subGaussian이다.
• Y 행렬을 사용하는 행렬-MGF 특성화는 Lieb의 concavity 정리를 적용해 nSG 벡터들의 합에 대한 경계를 얻을 수 있게 한다.
• 일반적인 집중 경계(Lemma 6)는 ||sum Xi||를 σi^2의 합과 log(2d/δ) 항을 포함하는 항으로 바인딩하며, 확률적 보장을 제공한다.
• 코롤라리들은 고정된 σi에 대한 Hoeffding 유형 부등식을 제공하고, 총 분산 합이 잠재적으로 큰 경우를 고려한 결합 경계도 차원에 대해 로그 의존성을 갖는다는 점에서 벗어나지 않는다.