[논문 리뷰] The Degrees of Freedom of the Group Lasso

Samuel Vaiter, Charles Deledalle외 3명|arXiv (Cornell University)|2012. 05. 07.

Statistical Methods and Inference참고 문헌 12인용 수 8

한 줄 요약

이 논문은 관측값에 대한 그룹 리그라스 솔루션의 엄밀한 국소 파arameterization을 제공하여, 솔루션의 민감도의 발산을 통한 자유도(DOF)의 편향 없는 추정을 가능하게 한다. 주요 기여는 AIC, SURE 또는 GCV와 같은 기준을 사용한 체계적인 모델 선택을 지원하는 증명 가능하게 편향 없는 DOF 추정기이다.

ABSTRACT

This paper studies the sensitivity to the observations of the block/group Lasso solution to an overdetermined linear regression model. Such a regularization is known to promote sparsity patterns structured as nonoverlapping groups of coefficients. Our main contribution provides a local parameterization of the solution with respect to the observations. As a byproduct, we give an unbiased estimate of the degrees of freedom of the group Lasso. Among other applications of such results, one can choose in a principled and objective way the regularization parameter of the Lasso through model selection criteria.

연구 동기 및 목표

• 관측 벡터 y에 대한 그룹 리그라스 솔루션의 국소 파arameterization을 개발하기 위해.
• 모델 복잡도를 측정하는 그룹 리그라스의 자유도(DOF)에 대한 편향 없는 추정기 제공하기 위해.
• AIC, SURE 또는 GCV와 같은 모델 선택 기준을 사용한 객관적인 정규화 파rameter 선택을 가능하게 하기 위해.
• 비중첩 블록을 가진 그룹 리그라스의 구조적 희박성 설정으로 이전 리그라스 DOF 결과를 확장하기 위해.
• 일반 설계 행렬 하에서 블록 희박성 정규화의 감도 분석에 대한 이론적 기초를 구축하기 위해.

제안 방법

• 카루시-쿤-터커(KKT) 조건과 활성 블록 지지집합 I를 사용하여 그룹 리그라스 솔루션 β⋆(y)의 국소 암묵적 파arameterization을 유도한다.
• 음함수정리(implicit function theorem)를 적용하여 y에 대한 β⋆(y)의 도함수를 계산하고, 라그랑주함수의 헤시안의 역행렬을 포함하는 표현식을 도출한다.
• 블록 대각형 연산자 δβ와 정규 벡터의 수직 투영 P⊥β를 도입하여 그룹 L1 페널티의 하위기울기 구조를 특성화한다.
• 해가 미분 가능하지 않은 해의 집합 H를 정의하여, 예측 매핑 ŷ(y) = Xβ⋆(y)의 거의 everywhere에서의 미분 가능성 보장.
• 스타인의 보조정리(Stein’s lemma)와 약한 미분 가능성(weak differentiability)을 사용하여, ŷ(y)의 야코비안의 트레이스가 DOF의 편향 없는 추정기임을 증명한다.
• 정규 근원과 잔차 구조를 포함하는, 활성 블록 위에서의 투영 연산자의 트레이스 합으로 DOF 추정기 유도.

실험 결과

연구 질문

• RQ1 그룹 리그라스 솔루션은 관측 벡터 y의 변동에 대해 어떻게 변화하는가?
• RQ2 일반 설계 행렬 하에서 그룹 리그라스에 대해 편향 없는 자유도 추정기를 도출할 수 있는가?
• RQ3 활성 블록 지지집합이 고정되어 있을 때 솔루션 민감도의 구조는 어떠한가?
• RQ4 DOF는 어떻게 그룹 리그라스의 정규화 파arameter λ를 객관적으로 선택하는 데 사용될 수 있는가?
• RQ5 그룹 리그라스 솔루션이 약하게 미분 가능해지는 조건은 무엇이며, 그 예측 매핑의 발산은 무엇인가?

주요 결과

• 그룹 리그라스 솔루션 β⋆(y)는 르베그 측도가 0인 집합 H를 제외하고 ℝ^Q 위에서 거의 모든 곳에서 C¹-스무스하다.
• 그룹 리그라스의 자유도는 예측 매핑 ŷ(y) = Xβ⋆(y)의 야코비안의 트레이스로 주어지며, 이는 진짜 DOF의 편향 없는 추정기이다.
• 정규 설계 사례에서는 DOF 추정기가 ∑_{b∈I} tr(P⊥β_b) = ∑_{b∈I} (|b| - 1)로 표현되며, I는 활성 블록 지지집합이다.
• 일반 설계 행렬의 경우, DOF는 라그랑주함수의 헤시안의 역행렬과 정규 근원 구조를 포함하는 솔루션 매핑의 발산으로 주어진다.
• 제안된 DOF 추정기는 편향 없으며, AIC, SURE 및 GCV와 같은 모델 선택 기준에 적용 가능하다.
• 해가 비가역적인 해의 집합 H는 유한 개의 Q−1 차원 다양체의 합집합으로서, 르베그 측도가 0임을 입증하였다.