[논문 리뷰] Technical Report: Graph-Structured Sparse Optimization for Connected Subgraph Detection

Baojian Zhou, Feng Chen|arXiv (Cornell University)|2016. 09. 30.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 3

한 줄 요약

이 논문은 그래프 구조 데이터에서 변수의 지지 집합에 연결성 제약 조건이 있는 비선형 최적화 문제를 해결하기 위한 두 가지 효율적인 알고리즘인 Graph-IHT와 Graph-GHTP를 제안한다. 연결된 부분그래프에 대한 새로운 근사 투영 오라클을 도입함으로써 정확한 투영의 NP-난해성 문제를 해결함으로써, 강력한 수렴성과 근사 보장 성능을 달성하며, 질병 유행 감시 및 수자원 네트워크 모니터링을 포함한 다양한 실세계 응용 분야에서 최신 기법들을 능가한다.

ABSTRACT

Structured sparse optimization is an important and challenging problem for analyzing high-dimensional data in a variety of applications such as bioinformatics, medical imaging, social networks, and astronomy. Although a number of structured sparsity models have been explored, such as trees, groups, clusters, and paths, connected subgraphs have been rarely explored in the current literature. One of the main technical challenges is that there is no structured sparsity-inducing norm that can directly model the space of connected subgraphs, and there is no exact implementation of a projection oracle for connected subgraphs due to its NP-hardness. In this paper, we explore efficient approximate projection oracles for connected subgraphs, and propose two new efficient algorithms, namely, Graph-IHT and Graph-GHTP, to optimize a generic nonlinear objective function subject to connectivity constraint on the support of the variables. Our proposed algorithms enjoy strong guarantees analogous to several current methods for sparsity-constrained optimization, such as Projected Gradient Descent (PGD), Approximate Model Iterative Hard Thresholding (AM-IHT), and Gradient Hard Thresholding Pursuit (GHTP) with respect to convergence rate and approximation accuracy. We apply our proposed algorithms to optimize several well-known graph scan statistics in several applications of connected subgraph detection as a case study, and the experimental results demonstrate that our proposed algorithms outperform state-of-the-art methods.

연구 동기 및 목표

• 희박성 제약 조건 하에서 연결된 부분그래프 탐지에 대해 계산적으로 실현 가능하고 이론적으로 타당한 방법의 부족을 해결하기 위해.
• 정확한 투영의 NP-난해성 문제를 극복하기 위해 연결된 부분그래프에 대한 효율적인 근사 투영 오라클을 개발하기 위해.
• 부정확한 투영이 존재하는 상황에서도 강력한 수렴성과 근사 보장 성능을 유지할 수 있는 최적화 알고리즘을 설계하기 위해.
• 제안된 방법들을 생물정보학, 사회망, 센서 네트워크 등 실세계의 그래프 스캔 통계에 적용하기 위해.
• 기존의 정확한, 휴리스틱, 근사 기반 기준 대비 우수한 성능과 확장성을 입증하기 위해.

제안 방법

• 그래프 구조적 희박성과 연결성 제약 조건을 고려한 반복적 하드 테이블링 알고리즘인 Graph-IHT와 Graph-GHTP를 제안한다.
• 연결된 지지 집합에 대한 투영을 근사하기 위해 그레디어티 및 적응 전략을 사용하는 새로운 근사 투영 오라클을 도입한다.
• 기울기 하드 테이블링 퍼스위트(GHTP)와 반복적 하드 테이블링(IHT)의 프레임워크를 변형하여 연결성 조건을 지원 투영 단계를 통해 통합한다.
• 그래프 코사프의 아이디어를 영감으로 삼은 헤드-투일 오라클 근사 기반의 이산 연결성 제약 조건의 연속적 완화를 사용한다. 이는 일반적인 비선형 목표 함수로 확장된다.
• 각 반복 단계에서 지지 집합을 향상시키기 위해 재가중 융합 라소(rew eighted fused lasso) 접근법을 사용하여 고스코어 연결된 부분그래프 탐지 능력을 향상시킨다.
• 이 알고리즘들은 알려진 그래프 스캔 통계(예: 쿨도르프, 스캔, 엣지라소)를 최적화하여 네트워크 내 이상 탐지에 적용한다.

실험 결과

연구 질문

• RQ1 정확한 투영이 NP-난해한 연결된 부분그래프에 대해 효율적인 근사 투영 오라클을 설계할 수 있는가?
• RQ2 부정확한 투영이 존재하는 상황에서도 그래프 구조적 희박성의 강력한 이론적 수렴성과 근사 보장 성능을 유지할 수 있는가?
• RQ3 다양한 실세계 데이터셋에서 제안된 알고리즘이 기존의 정확한, 휴리스틱, 근사 기반 방법보다 연결된 부분그래프 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ4 그래프 크기와 부분그래프 크기 제약 조건이 증가함에 따라 제안된 알고리즘의 성능는 어떻게 변화하는가?
• RQ5 수질 오염 감시 및 질병 유행 감시와 같은 애플리케이션에서, 제안된 알고리즘이 최신 기법들보다 더 높은 정밀도, 재현율, F-측정치를 달성할 수 있는가?

주요 결과

• Graph-GHTP는 10회 이내의 반복 안에 수렴하며, GenFusedLasso보다 높은 스캔 통계 점수를 가진 연결된 부분그래프를 일관되게 식별한다.
• Graph-GHTP는 세 가지 그래프 스캔 통계에서 모든 기준 방법보다 뛰어난 성능를 보이며, CitHepPh 데이터셋에서 EventTree에 비해 단지 2.71% 낮은 쿨도르프 점수를 기록한다.
• 수질 오염 감시에서 Graph-GHTP는 최고의 F-측정치와 정밀도를 기록했으며, DepthFirstGraphScan과 동일한 성능를 달성했고, 166초(5929초 대비)로 35.8배 더 빠른 속도를 보였다.
• Graph-GHTP는 EventTree를 제외한 모든 기준 방법보다 빠르며, 이는 고속이지만 낮은 정밀도와 재현율을 기록한 기준 방법이다.
• Graph-GHTP의 실행 시간은 상한 파라미터 $k$에 민감하지 않으며, 이론적 시간 복잡도 분석과 일치한다.
• 제안된 방법들은 질병 유행 감시, 센서 네트워크, 게놈 상호작용 네트워크를 포함한 다양한 응용 분야에서 강력한 경험적 성능를 보여준다.