[논문 리뷰] Group sparse optimization via $\ell_{p,q}$ regularization

Yaohua Hu, Chong Li외 3명|arXiv (Cornell University)|2016. 01. 28.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 15

한 줄 요약

이 논문은 고차원 데이터에서 희박성과 복원 정확도를 향상시키기 위해 ℓ_{p,q} 정규화를 사용하는 군 희박 최적화 프레임워크를 제안한다. 이는 이론적 복원 경계를 수립하고, ℓ_{1,q} 문제에 대해 선형 수렴성을 보장하는 프락시멀 그래디언트 방법을 개발하며, 실제 및 시뮬레이션 데이터를 사용한 유전자 조절 네트워크 추론에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we investigate a group sparse optimization problem via $\ell_{p,q}$ regularization in three aspects: theory, algorithm and application. In the theoretical aspect, by introducing a notion of group restricted eigenvalue condition, we establish some oracle property and a global recovery bound of order $O(λ^\frac{2}{2-q})$ for any point in a level set of the $\ell_{p,q}$ regularization problem, and by virtue of modern variational analysis techniques, we also provide a local analysis of recovery bound of order $O(λ^2)$ for a path of local minima. In the algorithmic aspect, we apply the well-known proximal gradient method to solve the $\ell_{p,q}$ regularization problems, either by analytically solving some specific $\ell_{p,q}$ regularization subproblems, or by using the Newton method to solve general $\ell_{p,q}$ regularization subproblems. In particular, we establish the linear convergence rate of the proximal gradient method for solving the $\ell_{1,q}$ regularization problem under some mild conditions. As a consequence, the linear convergence rate of proximal gradient method for solving the usual $\ell_{q}$ regularization problem ($0

연구 동기 및 목표

• 고차원, 과소결정 시스템에서 전통적인 ℓ₁ 정규화가 강한 희박성을 달성하는 데 한계가 있음을 해결하기 위해.
• 군 희박성을 촉진하고 복원 정확도를 향상시키는 비볼록 ℓ_{p,q} 정규화 프레임워크를 개발하기 위해.
• ℓ_{p,q} 정규화에 대해 군 제한 고유값 조건 하에서 이론적 복원 경계를 수립하기 위해.
• ℓ_{1,q} 및 ℓ_{p,q} 문제에 대해 선형 수렴성을 보장하는 프락시멀 그래디언트 방법을 설계하고 분석하기 위해.
• 고통도 및 저통도 생물학적 골드 표준을 모두 활용하여 실세계 유전자 전사 조절 데이터에 대해 방법을 검증하기 위해.

제안 방법

• ℓ_{p,q} 정규화의 복원 성질을 분석하기 위해 군 제한 고유값 조건을 도입하였다.
• ℓ_{p,q} 하위문제를 해결하기 위해 프락시멀 그래디언트 방법을 적용하였으며, 특정 경우는 해석적 해를, 일반적인 경우는 뉴턴 방법을 사용하였다.
• 약한 조건 하에서 ℓ_{1,q} 정규화에 대해 프락시멀 그래디언트 방법이 선형 수렴성을 보임을 증명하였다.
• AUC 평가를 위해 역 희박성 수준 기반 점수 함수를 사용하여 예측된 TF-타겟 상호작용을 순위 매겼다.
• 네트워크 추론 검증을 위해 고통도(ChIP-Array) 및 저통도(문헌 검증) 골드 표준 데이터셋을 모두 활용하였다.
• 쿠르다카-로자예브 이론을 활용하여 프락시멀 그래디언트 방법의 전역 수렴성을 임계점으로 증명하였다.

실험 결과

연구 질문

• RQ1 0 < q < 1 이고 p ≥ 1 인 ℓ_{p,q} 정규화가 ℓ₁ 정규화보다 더 나은 군 희박성과 복원 정확도를 달성할 수 있는가?
• RQ2 군 제한 고유값 조건 하에서 ℓ_{p,q} 정규화에 대해 어떤 이론적 복원 경계를 수립할 수 있는가?
• RQ3 0 < q < 1 인 ℓ_{1,q} 및 ℓ_{p,q} 문제에 대해 프락시멀 그래디언트 방법이 선형 수렴성을 보이는가?
• RQ4 실세계 유전자 조절 네트워크 추론에서 ℓ_{p,q} 정규화는 표준 ℓ₁ 및 ℓ₀ 방법보다 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법이 고통도 및 저통도 생물학적 골드 표준 모두에서 높은 AUC를 달성할 수 있는가?

주요 결과

• 논문은 ℓ_{p,q} 정규화 문제의 수준 집합 내 임의의 점에 대해 O(λ^{2/(2−q)}) 순서의 전역 복원 경계를 수립하였다.
• 변분 분석를 통해 국소 최소값의 경로에 대해 O(λ²) 순서의 국소 복원 경계를 유도하였다.
• 약한 조건 하에서 ℓ_{1,q} 정규화에 대해 프락시멀 그래디언트 방법이 선형 수렴성을 보이며, 이는 0 < q < 1 인 ℓ_q 정규화에 대해서도 선형 수렴성을 암시한다.
• 고통도 골드 표준에서, ℓ_{2,1/2}, ℓ_{1,1/2}, ℓ_{2,0} 정규화는 거의 동일한 AUC 값을 기록하며 ℓ_{2,1}보다 뚜렷이 뛰어난 성능을 보였다.
• 저통도 골드 표준에서, ℓ_{1,1/2}가 ℓ_{2,1/2} 및 ℓ_{2,0}를 약간 앞서며, 세 가지 모두 ℓ_{2,1}보다 훨씬 뛰어난 성능을 보였다.
• ℓ_{p,1/2} 및 ℓ_{p,0} 정규화가 표본 수가 제한된 시스템에서 유전자 조절 네트워크 추론에 효과적이며, 생물학적으로 정확한 네트워크 재구성을 가능하게 한다.