[논문 리뷰] Structured Variable Selection with Sparsity-Inducing Norms

Rodolphe Jenatton, Jean-Yves Audibert외 1명|arXiv (Cornell University)|2009. 04. 22.

Sparse and Compressive Sensing Techniques참고 문헌 71인용 수 458

한 줄 요약

이 논문은 $ε_1$-노름과 그룹 $ε_1$-노름을 확장하여 겹치는 그룹을 允許함으로써 선형 모델에서 복잡한 사전 지식 기반의 비영 계수 패턴을 모델링할 수 있는 구조적 희박성 유도 노름을 제안한다. 주요 기여는 그룹 구조와 원하는 희박성 패턴 간의 관계를 연결하는 프레임워크를 제공하며, 변수 선택의 이론적 일致성 결과와 고차원 및 저차원 설정에서의 활성 집합 알고리즘을 포함한다.

ABSTRACT

We consider the empirical risk minimization problem for linear supervised learning, with regularization by structured sparsity-inducing norms. These are defined as sums of Euclidean norms on certain subsets of variables, extending the usual $\ell_1$-norm and the group $\ell_1$-norm by allowing the subsets to overlap. This leads to a specific set of allowed nonzero patterns for the solutions of such problems. We first explore the relationship between the groups defining the norm and the resulting nonzero patterns, providing both forward and backward algorithms to go back and forth from groups to patterns. This allows the design of norms adapted to specific prior knowledge expressed in terms of nonzero patterns. We also present an efficient active set algorithm, and analyze the consistency of variable selection for least-squares linear regression in low and high-dimensional settings.

연구 동기 및 목표

• 표준 $ε_1$-노름 정규화가 변수 간의 구조적 관계를 忽略하는 데서 비롯되는 한계를 해결하기 위해.
• 공간적, 계층적, 또는 연속적인 구조와 같은 복잡한 사전 지식 기반의 비영 패턴을 겹치는 그룹 구조를 통해 유도하는 희박성 유도 노름을 개발하기 위해.
• 노름을 정의하는 그룹 구조와 해의 허용 가능한 비영 계수 패턴 집합 사이의 형식적 연결 고리를 확립하기 위해.
• 유도된 최적화 문제를 해결하기 위한 효율적인 활성 집합 알고리즘을 설계하기 위해.
• 최소 제곱 회귀에서 고차원 및 저차원 설정 모두에서 변수 선택의 일관성을 분석하기 위해.

제안 방법

• 겹치는 변수 부분집합(그룹)에 대한 유클리드 노름의 합으로서의 구조적 노름을 제안하여, $ε_1$-노름과 그룹 $ε_1$-노름을 일반화한다.
• 그룹 구조에서 허용 가능한 비영 계수 패턴으로의 매핑 및 그 반대로의 매핑을 가능하게 하는 정방향 및 역방향 알고리즘을 도입하여, 사전 지식 기반의 노름 설계를 가능하게 한다.
• 반복적으로 활성 변수 집합을 갱신함으로써 최적화 문제를 효율적으로 해결하는 활성 집합 알고리즘을 개발한다.
• 부도함수 미분법을 사용하여 최적성 조건을 유도하며, 해가 노름의 부분도함수를 포함하는 이중 조건을 만족함을 보여준다.
• 이중 노름의 구조를 활용하여 최적성 조건을 특성화하며, 서로소 지지 집합에 대한 개별 이중 노름의 최댓값과 일치함을 이용한다.
• 신경영상, 얼굴 인식, 유전체학 등 실제 문제에 프레임워크를 적용하여, 공간적, 시간적, 계층적 사전 지식이 성능과 해석 가능성에 핵심적인 역할을 하는 분야에서의 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 선형 모델에서 공간적 국소성이나 계층적 관계와 같은 복잡한 사전 지식 기반의 비영 패턴을 유도하는 희박성 노름을 설계할 수 있는가?
• RQ2 노름을 정의하는 그룹 구조와 해에서 허용 가능한 비영 계수 패턴 집합 사이의 정확한 관계는 무엇인가?
• RQ3 유도된 구조적 희박성 최적화 문제를 해결하기 위한 효율적인 활성 집합 알고리즘을 개발할 수 있는가?
• RQ4 구조적 노름을 사용할 경우, 저차원 및 고차원 설정 모두에서 변수 선택이 일관성이 있는 조건는 무엇인가?
• RQ5 노름 내에서의 겹치는 그룹은 희박성 패턴과 추정기의 이론적 성질에 어떤 영향을 미치는가?

주요 결과

• 겹치는 그룹에 대한 유클리드 노름의 합으로 정의된 제안된 구조적 노름은 선형 회귀 해의 비영 계수 패턴에 대한 복잡한 사전 지식을 명시적으로 표현할 수 있다.
• 정방향 및 역방향 알고리즘을 통해 그룹 구조와 허용 가능한 비영 계수 패턴 간의 매핑을 수립하여, 특정 구조적 사전 지식에 맞춘 노름 설계를 가능하게 한다.
• 반복적으로 활성 변수 집합을 갱신함으로써 최적화 문제를 효율적으로 해결하는 활성 집합 알고리즘을 제안하여 계산 성능을 향상시킨다.
• 최소 제곱 회귀에서 저차원 및 고차원 환경 모두에서 설계 행렬과 희박성에 적절한 조건 하에 변수 선택의 이론적 일관성이 확립된다.
• 이중 노름 특성화를 통해 최적성 조건이 서로소 지지 집합에 대한 개별 이중 노름의 최댓값을 포함함을 보여주며, 효율적인 부분도함수 계산을 가능하게 한다.
• 신경영상, 얼굴 인식, 유전체학 분야에서의 실증적 검증을 통해, 비구조적 $ε_1$-노름보다 구조적 노름을 사용할 경우 성능 향상과 해석 가능성 향상이 뚜렷하게 나타남을 입증한다.