[논문 리뷰] Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization

Baojian Zhou, Feng Chen외 1명|arXiv (Cornell University)|2019. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 60인용 수 6

한 줄 요약

이 논문은 비볼록 설정에서 그래프 구조를 가진 희박성 제약 조건을 위한 새로운 스토하스틱 최적화 알고리즘인 Stochastic Iterative Hard Thresholding (StoIHT)를 제안한다. 이 알고리즘은 최소 제곱 손실 및 로지스틱 손실 함수 모두에서 일정 오차 이내로 선형 수렴을 달성하며, 유방암 데이터셋과 같은 대규모 데이터에서 결정적 방법에 비해 효율성과 확장성 면에서 뛰어나다.

ABSTRACT

Stochastic optimization algorithms update models with cheap per-iteration costs sequentially, which makes them amenable for large-scale data analysis. Such algorithms have been widely studied for structured sparse models where the sparsity information is very specific, e.g., convex sparsity-inducing norms or $\ell^0$-norm. However, these norms cannot be directly applied to the problem of complex (non-convex) graph-structured sparsity models, which have important application in disease outbreak and social networks, etc. In this paper, we propose a stochastic gradient-based method for solving graph-structured sparsity constraint problems, not restricted to the least square loss. We prove that our algorithm enjoys a linear convergence up to a constant error, which is competitive with the counterparts in the batch learning setting. We conduct extensive experiments to show the efficiency and effectiveness of the proposed algorithms.

연구 동기 및 목표

• 복잡한 비볼록 그래프 구조를 가진 희박성 모델에 대해 효율적인 스토하스틱 최적화 방법이 부족한 문제를 해결하기 위해.
• 전체 배치 방법이 계산적으로 비현실적인 대규모 데이터셋에서 확장 가능한 학습을 가능하게 하기 위해.
• 볼록 희박성 유도 노름을 초월해 그래프에 의해 정의된 구조적 비볼록 지원 집합으로 스토하스틱 경사 기반 방법을 확장하기 위해.
• 낮은 반복당 비용을 유지하면서도 그래프 제약 조건이 있는 최적화에서 정확도를 유지하는 선형 수렴을 달성하기 위해.
• 실세계 응용 분야인 그래프 기반 희박 선형 회귀 및 로지스틱 회귀에 대해 방법을 검증하기 위해.

제안 방법

• 그래프 구조를 가진 희박성 제약 조건을 통합한 스토하스틱 경사 기반 알고리즘을 제안한다.
• 작은 배치(mini-batches)를 통한 경사의 스트로스틱 근사(approximation)를 사용하여 반복당 비용을 O(mp)에서 O(p)로 감소시킨다.
• 연결된 부분그래프 또는 클러스터로 정의된 구조적 희박성 모델 M(M)에 대한 투영 연산자를 사용한다.
• NP-난해한 투영을 효율적으로 처리하기 위해 두 가지 근사 투영(머리와 尾)을 적용한다.
• 수렴 보장을 유지하면서도 비볼록 그래프 기반 지원 집합으로 이터레이티브 하드 테이프링 프레임워크를 적응시킨다.
• 일반적인 손실 함수, 특히 최소 제곱 손실 및 로지스틱 손실에 대해 높은 확률로 수렴을 도출한다.

실험 결과

연구 질문

• RQ1 비볼록이고 그래프 구조를 가진 희박성 모델에 대해 스토하스틱 최적화가 효과적으로 적용될 수 있는가?
• RQ2 제안된 StoIHT 알고리즘이 최소 제곱 손실 및 로지스틱 손실 함수 모두에서 선형 수렴을 달성하는가?
• RQ3 대규모 데이터에서 StoIHT는 결정적 대체 방법에 비해 수렴 속도와 해의 품질 면에서 어떻게 비교되는가?
• RQ4 고차원적이고 노이즈가 많은 데이터셋에 대해 StoIHT는 연결된 부분그래프 등의 희박성 구조를 유지할 수 있는가?
• RQ5 StoIHT의 실세계 응용 분야에서의 경험적 성능은 어떠한가? 예를 들어, 질병 유행 감지 및 암 유전자 분석 등.

주요 결과

• StoIHT는 최소 제곱 손실 및 로지스틱 손실 함수 모두에서 일정 오차 이내로 선형 수렴을 달성하며, 배치 방법의 수렴 속도와 동일한 수준을 유지한다.
• 유방암 데이터셋에서 StoIHT는 테스트 오차를 0.339 ± 0.07로 줄였으며, GraphIHT(0.352 ± 0.07)와 IHT(0.392 ± 0.06)를 모두 능가했다.
• StoIHT는 평균 51.7 ± 26.7개의 비영계수를 기록하여 IHT(61.2 ± 22.1)에 비해 훨씬 낮은 비용을 기록하여 더 나은 희박성 제어를 보였다.
• 모든 폴드에서 비영계수 수가 일관되게 감소했으며, GraphStoIHT는 모든 방법 중에서 가장 낮은 평균 희박성(55.2 ± 28.9)을 달성했다.
• StoIHT는 반복당 비용을 O(mp)에서 O(p)로 감소시켜 대규모 데이터에서의 효율적 학습을 가능하게 하여 뛰어난 확장성을 보였다.
• 경험적 결과는 StoIHT가 복잡한 그래프 구조를 가진 희박성을 강제함과 동시에 높은 예측 정확도를 유지함을 확인하며 실용적 유용성을 입증했다.