[논문 리뷰] Learning Sparse Additive Models with Interactions in High Dimensions

Hemant Tyagi, Anastasios Kyrillidis외 2명|arXiv (Cornell University)|2016. 04. 18.

Machine Learning and Algorithms참고 문헌 29인용 수 5

한 줄 요약

이 논문은 압축 감지 기법을 활용하여 고차원에서 두 번째 차수 상호작용을 포함하는 희박한 가산 모델을 정확하게 복원하기 위한 랜덤화된 쿼리 기반 알고리즘을 제안한다. 노이즈가 없는 경우 O(kρₘ(log d)³)개의 쿼리로 정확한 복원을 달성하고, 가우시안 노이즈 하에서 O(ρₘ⁵k²(log d)⁴)개의 쿼리로도 정확한 복원을 보장하며, 구성 요소 추정에 대해 비점점적 오차 경계를 제공한다.

ABSTRACT

A function $f: \mathbb{R}^d ightarrow \mathbb{R}$ is referred to as a Sparse Additive Model (SPAM), if it is of the form $f(\mathbf{x}) = \sum_{l \in \mathcal{S}}ϕ_{l}(x_l)$, where $\mathcal{S} \subset [d]$, $|\mathcal{S}| \ll d$. Assuming $ϕ_l$'s and $\mathcal{S}$ to be unknown, the problem of estimating $f$ from its samples has been studied extensively. In this work, we consider a generalized SPAM, allowing for second order interaction terms. For some $\mathcal{S}_1 \subset [d], \mathcal{S}_2 \subset {[d] \choose 2}$, the function $f$ is assumed to be of the form: $$f(\mathbf{x}) = \sum_{p \in \mathcal{S}_1}ϕ_{p} (x_p) + \sum_{(l,l^{\prime}) \in \mathcal{S}_2}ϕ_{(l,l^{\prime})} (x_{l},x_{l^{\prime}}).$$ Assuming $ϕ_{p},ϕ_{(l,l^{\prime})}$, $\mathcal{S}_1$ and, $\mathcal{S}_2$ to be unknown, we provide a randomized algorithm that queries $f$ and exactly recovers $\mathcal{S}_1,\mathcal{S}_2$. Consequently, this also enables us to estimate the underlying $ϕ_p, ϕ_{(l,l^{\prime})}$. We derive sample complexity bounds for our scheme and also extend our analysis to include the situation where the queries are corrupted with noise -- either stochastic, or arbitrary but bounded. Lastly, we provide simulation results on synthetic data, that validate our theoretical findings.

연구 동기 및 목표

• 희박한 가산 및 상호작용 성분을 포함하는 고차원 함수 학습의 과제를 해결하여 차원의 극복을 극복한다.
• 주 효과와 두 번째 차수 상호작용 항을 모두 정확하게 복원할 수 있는 쿼리 기반 학습 프레임워크를 개발한다.
• 노이즈가 없는 경우와 노이즈가 있는 경우의 쿼리 설정 하에서 정확한 복원 및 구성 요소 추정에 대한 유한 표본 보장을 제공한다.
• 비선형 고차원 함수에 대해 희박한 헤시안 및 기울기 복원을 위해 압축 감지 기법을 확장한다.
• 통제된 노이즈와 상호작용 구조를 가진 시뮬레이션 데이터를 통해 이론적 결과를 검증한다.

제안 방법

• 함수 f를 체계적으로 선택된 점에서 쿼리하여 기울기 및 헤시안 정보를 탐색하기 위한 랜덤 샘플링 전략을 사용한다.
• 압축 감지를 적용하여 희박한 헤시안 행렬을 복원하고, 구조적 샘플링을 통해 상호작용 항을 식별한다.
• 두 단계 복원 프로세스를 활용한다: 먼저 활성 변수와 상호작용 쌍을 식별하고, 그 다음 개별 구성 요소 함수를 추정한다.
• 임의의 투영에 대해 기대값 기반 추정기를 사용하여 노이즈를 줄이고 구성 요소 추정 정확도를 향상시킨다.
• 다중 항의 기여로 인한 편향을 보정하기 위해 정규화 및 보정 단계를 도입한다.
• 최대 상호작용 차수 ρₘ과 희박성 k에 기반한 표본 복잡도 경계를 유도하여 유한한 노이즈와 확률적 노이즈 하에서도 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 유한한 수의 함수 쿼리로 고차원 희박 가산 모델에서 주 효과 집합 𝒮₁과 상호작용 쌍 집합 𝒮₂를 정확히 복원할 수 있는가?
• RQ2 노이즈가 없는 경우와 노이즈가 있는 경우의 쿼리 조건 하에서 모델 구조의 정확한 복원을 달성하기 위해 필요한 최소 쿼리 수는 얼마인가?
• RQ3 최대 상호작용 차수 ρₘ은 복원 알고리즘의 표본 복잡도에 어떤 영향을 미치는가?
• RQ4 노이즈가 있는 쿼리 조건 하에서 개별 구성 요소 함수 ϕₚ 및 ϕ₍ₗ,ₗ′₎의 추정에 대해 비점점적 오차 경계를 달성할 수 있는가?
• RQ5 제한된 노이즈 또는 i.i.d. 가우시안 노이즈와 같은 다양한 노이즈 모델은 복원 과정의 정확도와 표본 복잡도에 어떤 영향을 미치는가?

주요 결과

• 알고리즘은 O(kρₘ(log d)³)개의 노이즈 없는 쿼리로 𝒮₁과 𝒮₂를 정확히 복원하며, 여기서 ρₘ은 각 변수당 최대 상호작용 수이다.
• i.i.d. 가우시안 노이즈 하에서 정확한 복원이 O(ρₘ⁵k²(log d)⁴)개의 쿼리로 보장되며, 이러한 모델에 대해 처음으로 유한 표본 경계를 제공한다.
• n개의 노이즈 있는 쿼리 이후 주 효과 함수 ϕₚ의 기대 L∞-오차는 O((n⁻¹ log n)^{3/7})이다.
• n개의 노이즈 있는 쿼리 이후 이변량 상호작용 함수 ϕ₍ₗ,ₗ′₎의 기대 L∞-오차는 O((n⁻¹ log n)^{3/8})이다.
• 여러 상호작용에 참여하는 변수들(ρ(l) > 1)에 대해 ϕₗ의 추정 오차 역시 O((n⁻¹ log n)^{3/8})로 유계이다.
• 제어된 노이즈와 상호작용 구조를 가진 시뮬레이션 데이터를 통한 결과는 이론적 표본 복잡도 및 오차 경계를 확인하며, 알고리즘의 강건성과 정확도를 검증한다.