[논문 리뷰] Information Theory of Penalized Likelihoods and its Statistical Implications

Sabyasachi Chatterjee, Andrew R. Barron|arXiv (Cornell University)|2014. 01. 27.

Machine Learning and Algorithms참고 문헌 3인용 수 4

한 줄 요약

이 논문은 가우시안 그래픽 모델에서 $l_1$ 페널티의 정보이론적 타당성을 확립하고, 선형 회귀에서 전통적인 $l_0$ 페널티에 대해 조건부 이중단계 기술 길이 해석을 제시한다. 이는 파arameter 공간이 가산이 아닐 때조차도, 하한항이 유계인 두 배의 표준 $l_0$ 페널티 항을 사용할 경우 기술 길이 타당성과 통계적 리스크 타당성을 갖는 절차임을 보여주는 리스크 경계를 유도한다.

ABSTRACT

We extend the correspondence between two-stage coding procedures in data compression and penalized likelihood procedures in statistical estimation. Traditionally, this had required restriction to countable parameter spaces. We show how to extend this correspondence in the uncountable parameter case. Leveraging the description length interpretations of penalized likelihood procedures we devise new techniques to derive adaptive risk bounds of such procedures. We show that the existence of certain countable coverings of the parameter space implies adaptive risk bounds and thus our theory is quite general. We apply our techniques to illustrate risk bounds for $\ell_1$ type penalized procedures in canonical high dimensional statistical problems such as linear regression and Gaussian graphical Models. In the linear regression problem, we also demonstrate how the traditional $l_0$ penalty times $\frac{\log(n)}{2}$ plus lower order terms has a two stage description length interpretation and present risk bounds for this penalized likelihood procedure.

연구 동기 및 목표

• 비가산 파rameter 공간으로의 펆리티드 최대우도 추정의 정보이론적 기반을 확장하는 것, 특히 가우시안 그래픽 모델에 대해.
• 기존 $l_0$ 페널티 기술 길이 해석에서 유계가 아닌 잔여항 문제를 해결하기 위해, $2 \times \frac{\dim(\theta)}{2}\log n + o(n)$ 이 파arameter 공간에서 유계로 유지됨을 보이는 것.
• MDL 프레임워크 하에서 가우시안 그래픽 모델의 $l_1$ 페널티가 기술 길이 타당성과 통계적 리스크 타당성 모두를 만족함을 보여주는 것.
• Bhattacharyya 분산을 사용한 페널티 최대우도 추정량의 리스크 경계를 유도하여, 추정에서의 초과정보와 해상도 가능성을 연결하는 것.
• 기존의 $l_0$ 페널티에 대해 조건부 이중단계 기술 길이 해석을 제공하여, Kraft 합산 가능성과 통계적 일致성 보장하는 것.

제안 방법

• 페널티 최대우도를 기술 길이로 해석하기 위해 이중단계 코드 프레임워크를 사용하여, 가산 근사 $\tilde{\theta} \subset \Theta$ 를 통해 Kraft 부등식을 만족시키는 방식으로 구현한다.
• 기본적인 기술 길이 타당성은 부등식 $\min_{\theta \in \Theta} \{-\log P_\theta(Z) + \text{pen}(\theta)\} \geq \min_{\tilde{\theta} \in \tilde{\Theta}} \{-\log P_{\tilde{\theta}}(Z) + \mathcal{L}(\tilde{\theta})\}$ 를 통해 정의되며, 여기서 $\mathcal{L}$ 은 유효한 기술 길이다.
• $\chi^2$ 분포를 가진 잔차에 대해 모멘트 생성 함수(MGF)를 적용하여 최대우도 비율 항의 尾행동을 제어한다.
• 조건부 기술 길이 $\mathcal{L}(\tilde{\theta} \mid Z_{\text{in}}) = -\log h(\tilde{\theta}, Z_{\text{in}}) + \log M(Z_{\text{in}})$ 를 유도하여 Kraft 합산 가능성을 보장한다.
• 기본적인 초과정보와 리스크를 연결하기 위해 부등식 $\mathbb{E} B_{\text{tot}}(P, P_{\hat{\theta}}) \leq \mathbb{E} \min_{\theta \in \Theta} \left( \log \frac{P(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ 를 통해 리스크 경계를 수립한다.
• Hadamard의 부등식과 기하급수 합산을 사용하여 페널티 내의 행렬식과 정규화 항을 유계로 제한하며, 주요 항이 $k(\theta)\log n$ 임을 보여준다.

실험 결과

연구 질문

• RQ1 비가산 파arameter 공간에서조차도, MDL 원칙에 따라 가우시안 그래픽 모델의 $l_1$ 페널티가 유효한 기술 길이로 해석될 수 있는가?
• RQ2 선형 회귀에서 전통적인 $l_0$ 페널티는 잔여항이 유계일 때 조건부 이중단계 기술 길이 해석을 가질 수 있는가?
• RQ3 고차원 설정에서 Bhattacharyya 분산과 초과정보 논증을 사용해 페널티 최대우도 추정량의 리스크 경계를 도출할 수 있는가?
• RQ4 파arameter 공간에서 $o(n)$ 잔여항이 유계일 때, $2 \times \frac{\dim(\theta)}{2}\log n$ 페널티 항이 기술 길이 타당성과 통계적 리스크 타당성 모두를 만족하는가?
• RQ5 기대 리스크 경계 유도 과정에서 $\chi^2$ 분포 변수의 모멘트 생성 함수는 최대우도 비율의 尾행동을 어떻게 제어하는가?

주요 결과

• MDL 프레임워크 하에서 가우시안 그래픽 모델의 $l_1$ 페널티는 기술 길이 타당성과 통계적 리스크 타당성 모두를 만족하며, 초과정보 리스크 경계는 $\mathbb{E} B_{\text{tot}}(P, P_{\hat{\theta}}) \leq \mathbb{E} \min_{\theta} \left( \log \frac{P(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ 형태를 가진다.
• 기존의 $l_0$ 페널티 $\frac{\dim(\theta)}{2}\log n + o(n)$ 는 두 배로 늘어난 경우, 파arameter 공간에서 $o(n)$ 항이 유계일 때 기술 길이 타당성이 보장된다.
• 조건부 이중단계 기술 길이 해석이 $l_0$ 페널티에 대해 확립되었으며, 이 페널티 항 $\text{pen}(\theta \mid Z_{\text{in}})$ 은 $k(\theta)\log n + 2\log \binom{p}{k(\tilde{\theta})} + \log \det(X_{\text{in},S}^T X_{\text{in},S}) + \text{유계 항}$ 을 포함한다.
• 기대 리스크 경계는 $\mathbb{P} B(P_{\theta^*}, P_{\hat{\theta}}) \leq \frac{2}{n-p} \log \left( \frac{1}{2 - \sqrt{2}} \right) + \frac{1}{n-p} \mathbb{E} \min_{\theta} \left( \log \frac{P_{\theta^*}(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ 이며, 여기서 $\hat{\theta}$ 는 페널티 최소제곱을 최소화하는 것이다.
• 페널티에 포함된 요인 2는 $\chi^2$ 분포의 MGF가 $1/4$에서의 값에서 기인하며, 추가 상수를 조정함으로써 1보다 큰 임의의 값으로 줄일 수 있으며, 타당성은 유지된다.
• 유도 과정은 $n \to \infty$ 일 때 $p/n \to c$ 인 영역에서도 성립하여, 저차원 渐近 해석을 넘어서 적용 가능함을 보여준다.