[논문 리뷰] Information inequalities for the estimation of principal components.

Martin Wahl|arXiv (Cornell University)|2020. 05. 14.

Statistical Methods and Inference참고 문헌 40인용 수 4

한 줄 요약

이 논문은 공분산 연산자의 고유공간을 추정하기 위한 비점점적 하한을, 하어 측도를 기준 측도로 사용하는 등장형 모델에 맞춤형으로 조정된 반-트리네스 부등식을 통해 수립한다. 이는 기존의 상한과 정확히 일치하는 날카로운 하한을 도출하여 임의의 고유값 수열에 대해 주성분 추정의 기본 한계를 제공한다.

ABSTRACT

We provide lower bounds for the estimation of the eigenspaces of a covariance operator. These information inequalities are non-asymptotic and can be applied to any sequence of eigenvalues. In the important case of the eigenspace of the $d$ leading eigenvalues, the lower bounds match non-asymptotic upper bounds based on the empirical covariance operator. Our approach relies on a van Trees inequality for equivariant models, with the reference measure being the Haar measure on the orthogonal group, combined with large deviations techniques to design optimal prior densities.

연구 동기 및 목표

• 공분산 연산자의 고유공간 추정 정확도에 대한 기본 한계를 도출하는 것.
• 일반적인 고유값 수열에 적용 가능한 비점점적 하한의 부족을 해결하는 것.
• 주성분 분석에서 알려진 상한과 이론적 하한 사이의 격차를 메우는 것.
• 모든 고유값 구성에 대해 균일하게 적용 가능한 프레임워크를 개발하는 것, 특히 d개의 주요 고유값을 포함한다.
• 통계적 결정 이론 및 대 deviations 이론의 도구를 사용하여 정보 이론적 한계를 수립하는 것.

제안 방법

• 직교 불변성을 갖는 등장형 통계 모델에 반-트리네스 부등식을 적용한다.
• 불변성을 확보하기 위해 직교군 위의 하어 측도를 기준 사전 측도로 사용한다.
• 대 deviations 기법을 적용하여 추정 문제에 최적의 사전 밀도를 구성한다.
• 일반적인 고유값 구조 하에서 고유공간 추정의 위험에 대한 비점점적 하한을 유도한다.
• 정보 부등식과 주성분 분석에서의 최소최대 위험 간의 연결 고리를 설정한다.
• 경험 공분산 연산자를 기반으로 한 알려진 상한과의 비교를 통해 하한의 날카로움을 검증한다.

실험 결과

연구 질문

• RQ1 공분산 연산자의 고유공간을 추정하기 위한 기본적인 비점점적 하한은 무엇인가?
• RQ2 이 하한은 임의의 고유값 수열, 특히 d개의 주요 고유값을 포함한 경우에 어떻게 행동하는가?
• RQ3 하어 측도를 사용한 반-트리네스 부등식이 주성분 추정에서 날카로운 정보 이론적 한계를 도출할 수 있는가?
• RQ4 유도된 하한이 기존의 비점점적 상한과 어느 정도 일치하는가?
• RQ5 특히 하어 측도를 사용한 사전 선택이 최적의 하한을 도출하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 경험 공분산 연산자를 기반으로 한 알려진 상한과 정확히 일치하는 날카로운 비점점적 하한을 고유공간 추정에 대해 수립한다.
• 이 하한은 고유값 수열의 어떤 경우에도 유효하며, 특히 d개의 주요 고유값의 중요한 경우를 포함한다.
• 기준 측도로 하어 측도를 사용함으로써 불변성이 보장되고 날카로운 정보 부등식의 유도가 가능해진다.
• 대 deviations 기법이 성공적으로 적용되어 하한의 날카로움을 향상시키는 최적의 사전 밀도를 설계하는 데 기여한다.
• 이 프레임워크는 주성분 추정에서 최소최대 위험의 완전한 정보 이론적 특성화를 제공한다.
• 결과적으로 경험 공분산 기반 상한이 비점점적 영역에서 정보 이론적으로 최적임을 확인한다.