[논문 리뷰] WHInter: A Working set algorithm for High-dimensional sparse second order Interaction models

Marine Le Morvan, Jean‐Philippe Vert|arXiv (Cornell University)|2018. 02. 16.

Gene expression and cancer classification참고 문헌 32인용 수 9

한 줄 요약

WHInter는 두 번째 차수 상호작용을 포함한 고차원 희소 선형 모델을 피팅하기 위한 새로운 워킹 세트 알고리즘으로, 효율적인 최대 내적 곱 검색(MIPS)과 새로운 경계를 활용해 모든 상호작용을 스캔하지 않고도 활성 특징 세트를 식별한다. 유전체 및 시뮬레이션 데이터에서 최신 기술 대비 최대 두 계열 빠른 성능을 달성하여 수십만 개의 특징을 가진 데이터셋의 확장 가능한 분석을 가능하게 한다.

ABSTRACT

Learning sparse linear models with two-way interactions is desirable in many application domains such as genomics. l1-regularised linear models are popular to estimate sparse models, yet standard implementations fail to address specifically the quadratic explosion of candidate two-way interactions in high dimensions, and typically do not scale to genetic data with hundreds of thousands of features. Here we present WHInter, a working set algorithm to solve large l1-regularised problems with two-way interactions for binary design matrices. The novelty of WHInter stems from a new bound to efficiently identify working sets while avoiding to scan all features, and on fast computations inspired from solutions to the maximum inner product search problem. We apply WHInter to simulated and real genetic data and show that it is more scalable and two orders of magnitude faster than the state of the art.

연구 동기 및 목표

• 이원 상호작용 항의 제곱 폭발로 인해 표준 LASSO 솔버가 고차원 환경에서 계산적으로 불가능해지는 문제를 해결한다.
• 이진 설계 행렬에서 이원 상호작용을 포함한 ℓ1-정규화 모델을 위한 확장 가능한 알고리즘을 개발한다. 특히 p > 100,000개의 특징을 가진 유전체 데이터에 특화된다.
• 기존 히우리스틱 및 안전 스크리닝 규칙의 한계를 극복하기 위해 효율적인 특징 선택을 통한 더 공격적인 워킹 세트 전략을 도입한다.
• 대규모 데이터셋에서도 계산 가능성을 유지하면서도 강력한 통계적 보장을 갖춘 정확한 희소 모델 추정을 가능하게 한다.

제안 방법

• 모든 후보 상호작용을 완전히 스캔하지 않고도 워킹 세트를 효율적으로 식별하기 위해 새로운 경계를 제안한다.
• 희소 벡터 연산을 통해 유망한 상호작용 항을 가속화하기 위해 최대 내적 곱 검색(MIPS) 수식을 활용한다.
• 고차원 공간에서 내적 곱 계산 비용을 줄이기 위해 밀도와 잘라내기 히우리스틱을 활용하는 새로운 알고리즘 구성 요소인 MIPS1을 도입한다.
• 기존 깊이 우선 탐색 방식 대비 이원 상호작용에 대해 더 높은 잘라내기 효율성을 보이기 위해 안전 패턴 잘라내기(SPP) 구성 요소에서 너비 우선 탐색 전략을 사용한다.
• 워킹 세트 접근 방식과 동적 스크리닝 규칙을 결합하여 최적화 과정 중에 비활성 특징과 상호작용을 점진적으로 제거할 수 있도록 한다.
• 이중 변수의 절대값과 벡터 노름을 내림차순으로 정렬함으로써 특징과 질의의 순서를 재정렬하여 계산 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 효율적인 특징 선택을 통한 워킹 세트 알고리즘이 고차원 상호작용 모델에 대해 표준 LASSO 솔버보다 속도와 확장성 면에서 뛰어나게 되는가?
• RQ2 제안된 MIPS 기반 워킹 세트 선택 방식이 모델 정확도를 훼손하지 않으면서 평가해야 할 상호작용 수를 얼마나 줄이는가?
• RQ3 새로운 경계와 잘라내기 전략이 기존의 안전 스크리닝 및 활성 세트 방법 대비 계산 효율성을 얼마나 향상시키는가?
• RQ4 실제 유전체 데이터셋(수십만 개의 특징, 수천 명의 샘플)에서도 알고리즘이 희소성과 통계적 일致성을 유지하면서 확장 가능한가?

주요 결과

• WHInter는 시뮬레이션 및 실제 유전체 데이터셋에서 최신 기술 대비 최대 두 계열 빠른 런타임을 달성했으며, 일부 설정에서는 100배 이상의 가속도를 기록했다.
• MIPS1 구성 요소는 난이도 없는 내적 곱 계산 대비 1.6배 빠른 계산 시간을 제공하며, 이상적인 역행 리스트(IL) 방법 대비 최대 11배 느리지만 실질적으로 매우 효율적이다.
• 너비 우선 SPP 버전은 원래 깊이 우선 SPP 대비 20–60% 높은 잘라내기 효율성을 보이며, 데이터셋 크기에 따라 ×1.2에서 ×1.6의 속도 향상을 기록했다.
• n = 1000, p = 10,000인 데이터셋에서 WHInter는 전체 정규화 경로를 10초 이내에 완료하여 강력한 확장성을 입증했다.
• 알고리즘은 높은 모델 정확도와 희소성을 유지하며, 정확한 LASSO 솔버와 비교해 유사한 지원 복구 성능를 보였지만 런타임이 크게 향상되었다.
• 워킹 세트 선택과 동적 스크리닝 규칙의 통합은 최적화 과정 중 비활성 특징의 점진적 제거를 가능하게 하여 활성 변수 수를 크게 줄였다.