[논문 리뷰] Graph-based regularization for regression problems with alignment and highly-correlated designs

Yuan Li, Benjamin Mark외 4명|arXiv (Cornell University)|2018. 03. 20.

Statistical Methods and Inference참고 문헌 61인용 수 4

한 줄 요약

이 논문은 높은 상관관계를 가진 설계 행렬을 가진 고차원 선형 회귀 문제에 대해 그래프 기반 총 변동성(GTV) 정규화 방법을 제안한다. 이 방법은 공분산 그래프를 활용하여 특징 간 상관관계를 회귀 계수 유사성과 일치시킨다. 이 접근법은 블록 및 격자 그래프를 포함한 다양한 그래프 구조에서 최적의 평균 제곱 오차 보장을 달성하며, 합성 및 실제 생화학 데이터에서 기존 방법들을 능가한다.

ABSTRACT

Sparse models for high-dimensional linear regression and machine learning have received substantial attention over the past two decades. Model selection, or determining which features or covariates are the best explanatory variables, is critical to the interpretability of a learned model. Much of the current literature assumes that covariates are only mildly correlated. However, in many modern applications covariates are highly correlated and do not exhibit key properties (such as the restricted eigenvalue condition, restricted isometry property, or other related assumptions). This work considers a high-dimensional regression setting in which a graph governs both correlations among the covariates and the similarity among regression coefficients -- meaning there is \emph{alignment} between the covariates and regression coefficients. Using side information about the strength of correlations among features, we form a graph with edge weights corresponding to pairwise covariances. This graph is used to define a graph total variation regularizer that promotes similar weights for correlated features. This work shows how the proposed graph-based regularization yields mean-squared error guarantees for a broad range of covariance graph structures. These guarantees are optimal for many specific covariance graphs, including block and lattice graphs. Our proposed approach outperforms other methods for highly-correlated design in a variety of experiments on synthetic data and real biochemistry data.

연구 동기 및 목표

• 특징 간 상관관계가 높아 표준 정규성 조건(예: 제한 고유값 조건)을 위반하는 경우 고차원 회귀 문제에 도전한다.
• 특징 상관관계와 계수 유사성에 대한 구조적 보조 정보를 통합하여 높은 상관관계 설계에서의 식별성 문제를 해결한다.
• 쌍방향 공분산에서 유도된 그래프를 활용해 관련 특징 간 회귀 계수의 스무딩을 촉진하는 정규화 프레임워크를 개발한다.
• 특징 상관관계 구조와 계수 구조를 연결하는 새로운 일치 조건을 바탕으로 제안된 방법의 이론적 평균 제곱 오차 보장을 수립한다.
• 합성 데이터와 실제 생화학 데이터 세트에서 높은 상관관계를 가진 특징을 가진 고차원 생화학 데이터 세트에서 기존 방법들에 비해 경험적으로 뛰어난 성능을 보여준다.

제안 방법

• 설계 행렬의 표본 공분산 행렬에서 가중치가 부여된 그래프를 구성하며, 간선 가중치는 특징 간 쌍방향 공분산을 나타낸다.
• 그래프 총 변동성(GTV) 정규화 항을 정의하여 그래프 내 연결된 노드 간의 회귀 계수 차이를 페널티로 줄여, 상관관계가 높은 특징들 간 유사성을 촉진한다.
• GTV 페널티를 포함한 정규화된 최소 제곱 회귀로 최적화 문제를 공식화하여 희박성과 구조적 계수 추정을 가능하게 한다.
• 진짜 계수 벡터 β*가 특징 상관관계와 동일한 그래프 구조를 따르도록 보장하는 일치 조건을 도입하여 식별성 문제를 해결한다.
• 일치 조건 하에서 GTV 추정기의 이론적 평균 제곱 오차 경계를 유도하며, 블록 및 격자 그래프 구조에서 최적성을 입증한다.
• 부록에서 로지스틱 회귀로 프레임워크를 확장하여, 가우시안 잡음 모델을 초월한 더 넓은 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 특징 간 상관관계가 높고 표준 정규성 조건이 성립하지 않을 경우 그래프 기반 정규화가 추정 정확도를 향상시킬 수 있는가?
• RQ2 공분산에서 유도된 그래프 구조를 정규화 과정에 통합할 경우 추정기의 이론적 오차 경계에 어떤 영향을 미치는가?
• RQ3 특징 상관관계 구조와 계수 구조 간의 일치가 모델의 식별성과 성능에 얼마나 기여하는가?
• RQ4 다양한 그래프 구조를 가진 공분산 행렬에 대해 GTV 추정기의 이론적 평균 제곱 오차 보장은 어떤가?
• RQ5 합성 데이터 및 실제 생화학 데이터 세트에서 특징 간 상관관계가 높은 경우, 제안된 방법이 기존 방법들에 비해 예측 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 그래프 총 변동성(GTV) 정규화는 블록 및 격자 그래프를 포함한 광범위한 공분산 그래프 구조에 대해 최적의 평균 제곱 오차 비율을 달성한다.
• 이론적 분석 결과, GTV 추정기는 제안된 일치 조건 하에서 제한 고유값 또는 등거리성 성질이 없는 설계 행렬에서도 최소 최대 오차 비율을 달성한다.
• 합성 데이터에 대한 경험적 결과는 GTV가 고상관관계 조건 하에서 Lasso, 그룹 Lasso, 융합 Lasso보다 유의미하게 높은 추정 정확도를 보임을 보여준다.
• 242개의 콜라보레이티브 P450 단백질을 포함한 실제 생화학 데이터에서 GTV는 기준 방법들에 비해 낮은 예측 오차와 더 나은 계수 복원 성능을 달성한다. 특히 특징 간 상관관계가 높을 경우 두드러진 성능 향상을 보인다.
• 이 방법은 특징 상관관계에 대한 보조 정보를 효과적으로 활용하여 고차원 환경에서 모델의 해석 가능성과 강인성을 향상시킨다.
• 부록에서 로지스틱 회귀로의 확장 결과, GTV 프레임워크는 비가우시안 반응 모델에도 적응 가능하며 실용적 적용 범위를 넓힌다.