[논문 리뷰] T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs

Changwoo J. Lee, Zhao Tang Luo외 1명|arXiv (Cornell University)|2021. 07. 06.

Statistical Methods and Inference참고 문헌 45인용 수 4

한 줄 요약

T-LoHo는 그래프 구조를 가진 고차원 매개수에서 구조적 희박성과 스무딩을 유도하기 위해 트리 기반 저질랭크 호르셰 퍼리어를 사용하는 베이지안 계층 모델을 제안한다. 무작위 신장 포레스트를 활용해 局소 수축 구조를 정의함으로써 효율적인 MCMC 추론과 불확실성 측정이 가능해지며, 융합 라소 및 기타 페널라이제이션 방법보다 시뮬레이션 및 도로 네트워크에서의 실제 이상 탐지에서 뛰어난 성능을 보였다.

ABSTRACT

Graphs have been commonly used to represent complex data structures. In models dealing with graph-structured data, multivariate parameters may not only exhibit sparse patterns but have structured sparsity and smoothness in the sense that both zero and non-zero parameters tend to cluster together. We propose a new prior for high-dimensional parameters with graphical relations, referred to as the Tree-based Low-rank Horseshoe (T-LoHo) model, that generalizes the popular univariate Bayesian horseshoe shrinkage prior to the multivariate setting to detect structured sparsity and smoothness simultaneously. The T-LoHo prior can be embedded in many high-dimensional hierarchical models. To illustrate its utility, we apply it to regularize a Bayesian high-dimensional regression problem where the regression coefficients are linked by a graph, so that the resulting clusters have flexible shapes and satisfy the cluster contiguity constraint with respect to the graph. We design an efficient Markov chain Monte Carlo algorithm that delivers full Bayesian inference with uncertainty measures for model parameters such as the number of clusters. We offer theoretical investigations of the clustering effects and posterior concentration results. Finally, we illustrate the performance of the model with simulation studies and a real data application for anomaly detection on a road network. The results indicate substantial improvements over other competing methods such as the sparse fused lasso.

연구 동기 및 목표

• 그래프로 연결된 고차원 매개수에서 구조적 희박성과 스무딩을 동시에 포착할 수 있는 베이지안 정규화 모델을 개발하는 것.
• 큰 그래프에서 그래프 기반 정규화의 계산적 한계를 극복하기 위해 신장 포레스트를 사용해 의존성 구조를 단순화하는 것.
• 고정계수나 계수 추정치의 군집 수에 대한 전체 베이지안 추론과 불확실성 측정을 제공함으로써, 최빈기 페널라이제이션 방법과는 달리 보다 포괄적인 분석을 가능하게 하는 것.
• 고정된 체인 순서에 의존하지 않고 그래프의 연속성을 존중하는 윈량형 클러스터링을 가능하게 하여 과다 클러스터링을 방지하는 것.
• 공연 이벤트 동안의 교통 변화와 같은 공간 및 네트워크 데이터에서의 이상 탐지에서 뛰어난 성능을 보여주는 것.

제안 방법

• 그래프에서 조각별로 일정한 행동을 유도하는 단변량 호르셰 퍼리어의 다변량 확장인 트리 기반 저질랭크 호르셰 퍼리어(T-LoHo) 사전을 도입한다.
• 무작위 신장 포레스트(RSF)를 사용해 호환 가능한 이웃 순서를 정의함으로써 계산 복잡도를 감소시키면서도 그래프의 구조를 유지한다.
• 지역 수축 매개수를 저질랭크이자 구조화된 방식으로 설정하는 계층적 사전을 구현함으로써 공동 클러스터링과 희박성을 동시에 달성한다.
• Gibbs 샘플링과 슬라이스 샘플링을 활용한 효율적인 MCMC 알고리즘을 적용해 사후 분포 샘플을 생성하고 불확실성 측정을 수행한다.
• 그래프로 연결된 계수를 가진 고차원 선형 회귀에 사전을 적용함으로써, 그래프의 연속성을 존중하는 융통성 있는 클러스터링을 가능하게 한다.
• 계층적 구조를 통해 글로벌-로컬 수축 메커니즘을 통합함으로써, 불필요한 계수는 적응적으로 수축시키면서 진짜 신호는 유지한다.

실험 결과

연구 질문

• RQ1 그래프로 연결된 고차원 매개수에서 구조적 희박성과 스무딩을 동시에 유도할 수 있는 베이지안 사전를 설계할 수 있는가?
• RQ2 모델의 유연성에 손상을 주지 않으면서도 그래프 정규화가 적용된 베이지안 모델의 계산 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 방법이 융합 라소와 같은 최빈기 페널라이제이션 방법보다 클러스터링된 신호를 탐지할 때 불확실성 측정까지 포함해 뛰어난 성능을 보일 수 있는가?
• RQ4 고정된 체인 또는 트리 순서와 비교해 무작위 신장 포레스트를 사용할 경우 진짜 클러스터 구조를 얼마나 잘 유지할 수 있는가?
• RQ5 실제 네트워크 데이터에서 복잡한 비凸형 클러스터 형상에 대해 모델이 얼마나 적응적으로 대응할 수 있는가?

주요 결과

• 모든 (ϑ, SNR) 설정에서 시뮬레이션 연구에서 T-LoHo는 예측 정확도와 클러스터링 정확도 면에서 희박한 융합 라소 및 기타 경쟁 방법을 모두 압도했다.
• 뉴욕 퀸즈 프라이드 마라톤 이상 탐지 사례에서 T-LoHo는 행진 경로와 저먼 하이랜드 지역의 택시 활동 감소를 성공적으로 포착했으며, 융합 라소는 소프트 스위칭에 기인한 편향으로 인해 실패했다.
• T-LoHo는 신뢰도 90%의 신뢰 구간을 안정적으로 생성하여, 최적화 기반 방법과 달리 불확실성 측정 능력을 입증했다.
• 모델은 이벤트 시작/종료 지점 주변의 미세한 공간 패턴을 탐지해, FL보다 높은 민감도를 보였다.
• 무작위 신장 포레스트의 사용은 고정 순서 방법에서 흔히 발생하는 과다 클러스터링을 방지하는 융통성 있는 클러스터링을 가능하게 했다.
• 이론적 결과는 사후 집중성과 클러스터링 효과를 확인하여 모델의 일관성과 강건성을 뒷받침한다.