[논문 리뷰] Generalized Linear Model Regression under Distance-to-set Penalties

Jason Xu, C. Eric외 1명|arXiv (Cornell University)|2017. 11. 03.

Advanced Statistical Methods and Models참고 문헌 30인용 수 17

한 줄 요약

이 논문은 전통적인 정규화 방법의 수축 편향을 피하기 위해 회귀 계수에 대한 제약 조건을 강제하기 위해 거리-집합 페널티를 사용하는 일반선형모형(GLM) 회귀 프레임워크를 제안한다. 주요 최소화(MM) 원리를 활용함으로써 전역 수렴을 보장하고, 비볼록 제약 조건 하에서도 희박성 및 낮은 질서 회귀에서 뛰어난 성능을 발휘하며, 표준 수축 방법보다 핵심 벤치마크에서 슈퍼리어한 성능을 보인다.

ABSTRACT

Estimation in generalized linear models (GLM) is complicated by the presence of constraints. One can handle constraints by maximizing a penalized log-likelihood. Penalties such as the lasso are effective in high dimensions, but often lead to unwanted shrinkage. This paper explores instead penalizing the squared distance to constraint sets. Distance penalties are more flexible than algebraic and regularization penalties, and avoid the drawback of shrinkage. To optimize distance penalized objectives, we make use of the majorization-minimization principle. Resulting algorithms constructed within this framework are amenable to acceleration and come with global convergence guarantees. Applications to shape constraints, sparse regression, and rank-restricted matrix regression on synthetic and real data showcase strong empirical performance, even under non-convex constraints.

연구 동기 및 목표

• LASSO와 같은 전통적인 수축 페널티의 한계를 해결하기 위해, 희박성을 강제함과 동시에 불필요한 계수 수축을 유도하는 문제를 해결한다.
• GLM 회귀 계수에 대해 희박성, 등온성, 낮은 질서 구조와 같은 다양한 제약 조건을 유연하게 적용할 수 있는 프레임워크를 개발한다.
• 비볼록 제약 조건이 존재하더라도 수렴 보장을 유지하는 통합 최적화 접근법을 제공한다.
• 고차원 및 구조화된 회귀 설정에서 표준 수축 방법에 비해 뛰어난 경험적 성능을 입증한다.

제안 방법

• 전통적인 정규화 방식(예: L1 또는 L0 노름) 대신 제약 집합으로부터의 제곱거리 페널티를 사용하여 GLM 회귀를 수립한다.
• 주요 최소화(MM) 원리를 활용하여 최적화하기 쉬운 볼록 대체 문제의 시퀀스를 구성한다.
• 현재 추정치를 제약 집합에 투영하고 가중 최소제곱 하위 문제를 푸는 반복 업데이트를 유도한다.
• 브레그만 발산 프레임워크를 사용하여 다양한 지수가족 분포에 걸쳐 목적 함수를 일반화한다.
• 특히 대규모 문제에서 수렴 속도를 향상시키기 위해 가속 기법을 적용한다.
• 전역 수렴을 보장하며, 볼록 제약 조건 하에서는 전역 최적성도 보장한다.

실험 결과

연구 질문

• RQ1 거리-집합 페널티가 표준 정규화보다 GLM 회귀에서 더 효과적인 대안이 될 수 있는가? 특히 계수 수축을 피할 수 있는가?
• RQ2 비볼록 제약 조건 하에서 MM 기반 최적화 프레임워크의 수렴성과 계산 효율성은 어떠한가?
• RQ3 거리 페널라이제이션은 희박성 및 낮은 질서 회귀 과제에서 추정 정확도와 변수 선택 성능을 얼마나 향상시키는가?
• RQ4 실제 및 시뮬레이션 데이터셋에서 LASSO, SCAD, MCP, 핵노름 페널라이제이션과 비교해 실제로 어떤 성능을 보이는가?
• RQ5 비볼록 제약 집합으로도 확장 가능할 수 있는가? 이 경우에도 수렴성과 양호한 통계적 성능를 보장할 수 있는가?

주요 결과

• EEG 알코올 중독 데이터셋에서 거리 페널라이제이션된 GLM 접근법은 0.139의 오분류율을 달성하여 이전 최고 성능와 동일하지만, 제한적인 질서-1 가정에 의존하지 않는다.
• 동일한 데이터셋에서 핵노름 페널라이제이션은 낮은 질서 해를 도출하지 못했으며, 이는 거리 페널티가 질서 제약 조건을 강제하는 데서 유리함을 보여준다.
• 가장 큰 EEG 데이터셋에서 MM 알고리즘은 31초 만에 수렴하여, 좌표강하 LASSO 구현보다 느리지만 구현 가능성을 입증한다.
• 온도 이상 데이터에서 이소토닉 관계가 거리 페널라이제이션에 의해 성공적으로 복원되었으며, 그림 4의 왼쪽 플롯에서 이를 확인할 수 있다.
• 거리 페널라이제이션, 핵노름, LASSO에서 유도된 계수 행렬은 모두 시각적으로나 정량적으로 다르며, 거리 페널라이제이션은 더 나은 구조 보존 성능를 보였다.
• 이론적으로는 정류점으로의 전역 수렴이 보장되며, 볼록 제약 조건 하에서는 전역 최적성도 확보된다. 경험적 결과는 비볼록 설정에서도 강인함을 확인한다.