[논문 리뷰] Fast Simultaneous Training of Generalized Linear Models (FaSTGLZ)

Bryan Conroy, Jennifer M. Walz외 2명|arXiv (Cornell University)|2013. 07. 31.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 5

한 줄 요약

FaSTGLZ는 공유 구조를 통해 동시 뉴턴 해법과 저차원 변수 분할을 이용해, 부트스트래핑, 교차검증 또는 순열 검정과 같은 다수의 관련 문제에서 동시에 희박한 일반선형모형을 에라스틱 넷 정규화로 학습하는 데 있어 계산적으로 효율적인 알고리즘이다. 이는 특히 고차원 설정(p ≫ n)에서 상당한 속도 향상과 메모리 절감을 이룩하여 표준 하드웨어에서도 수천 개의 모델을 최소한의 메모리 오버헤드로 학습할 수 있게 한다.

ABSTRACT

We present an efficient algorithm for simultaneously training sparse generalized linear models across many related problems, which may arise from bootstrapping, cross-validation and nonparametric permutation testing. Our approach leverages the redundancies across problems to obtain significant computational improvements relative to solving the problems sequentially by a conventional algorithm. We demonstrate our fast simultaneous training of generalized linear models (FaSTGLZ) algorithm on a number of real-world datasets, and we run otherwise computationally intensive bootstrapping and permutation test analyses that are typically necessary for obtaining statistically rigorous classification results and meaningful interpretation. Code is freely available at http://liinc.bme.columbia.edu/fastglz.

연구 동기 및 목표

• 모델 선택, 검증, 유의성 검정 과정에서 수천 개의 희박한 일반선형모형을 순차적으로 학습하는 데 발생하는 비효율성을 해결하기 위해.
• 관련된 최적화 문제 간의 중복성을 활용하여 계산 및 메모리 오버헤드를 줄이기 위해.
• 표준 하드웨어를 사용하여 고차원 데이터셋(p ≫ n)에서 부트스트래핑 및 순열 검정과 같은 대규모 통계 분석을 가능하게 하기 위해.
• 활성 집합 스크리닝을 활용하여 샘플 수(n)에 대해 선형적으로 증가하는 메모리 효율성 알고리즘을 개발하기 위해.
• 그룹 라소를 포함한 다양한 손실 함수 및 정규화 방법과 호환되는 일반 목적의 프레임워크를 제공하기 위해.

제안 방법

• 희박한 GLM 최적화를 두 개의 하위문제로 분해하기 위해 교대 방식의 다중승수법(ADMM)을 사용한다: 부드러운 최소화 및 소프트 스위칭.
• 모든 문제에 걸쳐 단일 템플릿 헤시안 행렬을 역행렬하는 동시 뉴턴 해법을 도입하여 반복적인 행렬 역행렬 계산을 줄인다.
• 모든 문제에 공통된 저차원 부분공간(Q의 스트레칭)에 최적화를 투영하여 계산 오버헤드를 최소화한다.
• ℓ₁-정규화 스크리닝 규칙(Tibshirani 등, 2012)을 활용해 각 문제의 활성 집합을 추정하여 메모리 사용을 줄인다.
• 반복 단계를 단일 선형 대수 표현식으로 묶어 메모리 액세스와 루프 오버헤드를 최소화한다.
• Q와 Q⊥를 이용한 기저 변경을 유도하여 선형 시스템을 효율적으로 해결하며, ZRₖZᵀ + 2ρI의 정의성 보장으로 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 부트스트랩된 데이터셋과 같은 관련된 문제들 사이에서 수천 개의 희박한 GLM을 동시에 학습하는 것이 순차적 학습보다 현저히 빠를 수 있는가?
• RQ2 고차원 설정(p ≫ n)에서 문제 간 공유 구조를 어떻게 활용하여 계산 시간과 메모리 사용을 줄일 수 있는가?
• RQ3 한 번의 헤시안 행렬 역행렬을 여러 모델 간에 재사용하여 최적화를 가속화하면서 수렴성을 손상시키지 않을 수 있는가?
• RQ4 활성 집합 스크리닝을 통해 대규모 희박 회귀에서 메모리 오버헤드를 어느 정도 줄일 수 있는가?
• RQ5 특히 p ≫ n 조건에서 표준 하드웨어에서 수천 개의 모델에 대해 제안된 알고리즘이 확장 가능한가?

주요 결과

• FaSTGLZ는 문제 간 공유 구조를 활용해 여러 희박한 GLM 문제를 동시에 해결함으로써 상당한 계산 속도 향상을 달성한다.
• 알고리즘은 각 문제당 메모리 사용량이 p와 무관하게 n에 선형적으로 증가하도록 하여 고차원 분석을 표준 하드웨어에서 가능하게 한다.
• 동시 뉴턴 해법은 모든 문제에 걸쳐 단 한 번의 헤시안 행렬 역행렬만 필요로 하여 반복적인 행렬 연산을 극적으로 줄인다.
• 4GB RAM 컴퓨터에서도 수천 개의 모델을 동시에 학습할 수 있으며, 수만 개의 특징이 있는 경우에도 가능하다.
• 적절한 정규화와 헤시안 업데이트의 정의성 보장으로 수렴 보장을 유지하여 안정적인 최적화를 보장한다.
• 실제 데이터셋에 대한 경험적 검증을 통해 FaSTGLZ는 이전에는 불가능했던 엄밀한 통계적 유의성 확보를 위한 순열 및 부트스트래핑 분석을 가능하게 한다.