[논문 리뷰] Robust covariance estimation under $L_4-L_2$ norm equivalence

Mendelson Shahar, Zhivotovskiy Nikita|arXiv (Cornell University)|2018. 09. 27.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 9

한 줄 요약

이 논문은 $L_4$-$L_2$ 노름 등가 조건(제한된 첨도) 하에서 강건한 공분산 추정기를 제안하며, 가우시안 설정과 유사한 최적 성능를 달성한다. 이는 차원 $d$ 가 아닌 유효 차원 $\mathbf{r}(Σ)$ 에 따라 의존하는 고확률 경계를 제공함으로써, 서브가우시안 및 제한된 첨도 상황에서 최신 기술을 향상시킨다.

ABSTRACT

Let $X$ be a centered random vector taking values in $\mathbb{R}^d$ and let $Σ= \mathbb{E}(X\otimes X)$ be its covariance matrix. We show that if $X$ satisfies an $L_4-L_2$ norm equivalence, there is a covariance estimator $\hatΣ$ that exhibits the optimal performance one would expect had $X$ been a gaussian vector. The procedure also improves the current state-of-the-art regarding high probability bounds in the subgaussian case (sharp results were only known in expectation or with constant probability). In both scenarios the new bound does not depend explicitly on the dimension $d$, but rather on the effective rank of the covariance matrix $Σ$.

연구 동기 및 목표

• 차원에 종속되지 않는 최적 성능를 달성할 수 있는 공분산 추정기를 개발하는 것.
• 기존 결과가 기대값 또는 일정 확률에서만 날카로운 경우와 달리, 서브가우시안 케이스에서 고확률 편차 경계를 향상시키는 것.
• 명시적 차원 $d$ 의 의존성을 유효 차원 $\mathbf{r}(\Sigma)$ 에 대한 의존성으로 대체하여 내재 차원을 더 잘 반영하는 것.
• 고신뢰도 영역에서 표본 평균 추정기가 비최적임을 밝히고, 더 나은 대안을 제안하는 것.

제안 방법

• 공분산 추정을 벡터 평균 추정 문제로 간주하기 위해 $W = X \otimes X$ 를 정의함으로써 $\mathbb{E}[W] = \Sigma$ 를 유도하고, $W_i = X_i \otimes X_i$ 에 대해 강건한 평균 추정을 적용함.
• 표본 평균 추정의 대안으로 $\mathbb{E}[W]$ 를 위한 중앙값-평균 기반 추정기를 도입함으로써, 서브가우시안 꼬리 조건 없이도 가우시안 유형의 농도를 달성함.
• 4차 형식의 모멘트를 제어하기 위해 $L_4$-$L_2$ 노름 등가 조건을 활용함으로써 더 날카로운 尾 꼬리 경계를 확보함.
• 차원 $d$ 의 명시적 의존성을 피하고, $\sqrt{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)/N}$ 와 $\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)/({\rm Tr}(\Sigma)N)$ 에 따라 척도가 조정된 고확률 경계를 유도함.
• 제한된 첨도 조건 하에서 최소 최대 최적 속도를 로그 요소의 차수까지 달성함을 보임.
• 구간을 이용한 방법을 통한 대체 추정기를 암시적으로 제시함으로써, $d$ 에 따라 의존하는 경계를 얻지만 $\mathrm{Tr}(\Sigma)$ 나 $L$ 의 지식이 필요로 하지 않음.

실험 결과

연구 질문

• RQ1 제한된 첨도 조건 하에서 $L_4$-$L_2$ 노름 등가 조건을 만족할 경우, 공분산 추정기가 가우시안 벡터에서 예상되는 성능에 맞는 최적의 고확률 편차 경계를 달성할 수 있는가?
• RQ2 고신뢰도 영역에서 표본 공분산 추정기는 여전히 최적인가, 아니면 더 나은 대안을 구성할 수 있는가?
• RQ3 고확률 경계를 암시적 차원 $d$ 가 아닌 유효 차원 $\mathbf{r}(\Sigma)$ 에 따라 표현할 수 있는가?
• RQ4 서브가우시안 또는 제한된 첨도 설정에서 유효 차원과 작도 노름 사이의 격차는 무엇이며, 추정에 어떤 영향을 미치는가?
• RQ5 최적 속도를 유지하면서 $\mathrm{Tr}(\Sigma)$ 나 $L$ 에 대한 의존성을 피하는 강건한 추정기는 존재하는가?

주요 결과

• 제한된 첨도 조건 하에서, 제안된 추정기는 순서 $\|\Sigma\| \left( \sqrt{\frac{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)}{N}} + \frac{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)}{{\rm Tr}(\Sigma) N} \right)$ 의 고확률 경계를 달성하며, 이는 로그 요소의 차수까지 최적임을 입증함.
• 경계는 차원 $d$ 에 명시적으로 의존하지 않으며, 고차원 설정에서 더 유의미한 유효 차원 $\mathbf{r}(\Sigma)$ 에만 의존함.
• 서브가우시안 벡터의 경우, 기존 결과보다 향상된 경계를 달성함으로써 이전에는 기대값 또는 일정 확률에서만 알려진 날카로운 고확률 성능를 달성함.
• 표본 평균 추정기는 고신뢰도 영역에서 비최적임이 반례를 통해 입증됨 ($R_X \ll \|\Sigma\|$).
• 논문은 $R_X \geq \sqrt{\frac{\mathbf{r}(\Sigma) - 1}{d}} \|\Sigma\|$ 를 증명함으로써, $R_X$ 와 $\|\Sigma\|$ 사이의 격차가 클 수 있음을 보이며, 개선된 추정기가 필요함을 정당화함.
• 구간을 이용한 대체 추정기는 순서 $\|\Sigma\| \sqrt{\frac{d + \log(1/\delta)}{N}}$ 의 경계를 달성함으로써 $d$ 에 따라 의존하지만, $\mathrm{Tr}(\Sigma)$ 나 $L$ 의 지식이 필요로 하지 않음.