[논문 리뷰] Generalized Functional Pruning Optimal Partitioning (GFPOP) for Constrained Changepoint Detection in Genomic Data

Toby Dylan Hocking, Guillem Rigaill외 2명|arXiv (Cornell University)|2018. 09. 29.

Gene expression and cancer classification인용 수 4

한 줄 요약

이 논문은 유전자 데이터에서 제약 조건이 있는 변화점 탐지에 대해 $O(N\log N)$ 시간 복잡도를 갖는 최적의 분할을 달성하는 새로운 알고리즘 GFPOP을 소개한다. 또한 $O(\sqrt{N})$개의 피크를 가진 최적 모델을 $O(N(\log N)^2)$ 시간에 계산하는 순차적 탐색 방법을 제안하여, 수천만 개의 점을 포함하는 대규모 유전자 데이터 세트에서 효율적이고 확장 가능한 피크 탐지가 가능하게 한다.

ABSTRACT

We describe a new algorithm and R package for peak detection in genomic data sets using constrained changepoint algorithms. These detect changes from background to peak regions by imposing the constraint that the mean should alternately increase then decrease. An existing algorithm for this problem exists, and gives state-of-the-art accuracy results, but it is computationally expensive when the number of changes is large. We propose the GFPOP algorithm that jointly estimates the number of peaks and their locations by minimizing a cost function which consists of a data fitting term and a penalty for each changepoint. Empirically this algorithm has a cost that is $O(N \log(N))$ for analysing data of length $N$. We also propose a sequential search algorithm that finds the best solution with $K$ segments in $O(\log(K)N \log(N))$ time, which is much faster than the previous $O(KN \log(N))$ algorithm. We show that our disk-based implementation in the PeakSegDisk R package can be used to quickly compute constrained optimal models with many changepoints, which are needed to analyze typical genomic data sets that have tens of millions of observations.

연구 동기 및 목표

• 의미가 번갈아가며 증가하고 감소하는 제약 조건이 있는 변화점의 형태를 갖는 유전자 데이터에서 피크를 탐지하기 위한 확장 가능하고 최적의 알고리즘 개발
• 특히 $N \approx 10^7$개의 점을 포함하는 대규모 유전자 데이터 세트에서 많은 변화점을 가진 최적의 분할에 대한 계산 비용을 줄이는 것
• 실제 유전자 데이터에서 흔히 나타나는 $O(\sqrt{N})$ 피크를 가진 최적 모델을 실용적으로 계산하기 위해 기존의 비용이 많이 드는 $O(N\sqrt{N}\log N)$ 방법을 더 빠른 순차적 탐색으로 대체하는 것
• 표준 하드웨어에서도 최적의 피크 탐지가 가능하도록 고성능과 낮은 메모리 사용을 유지하는 디스크 기반 구현 제공

제안 방법

• GFPOP는 기능적 프루닝을 사용하여 각 세그먼트의 후보 변화점 수를 $O(N)$에서 $O(\log N)$로 줄여, 단일 펜alty에 대해 $O(N\log N)$ 시간 복잡도를 달성한다.
• 알고리즘은 포isson 모델 하에서 벌점 부여된 음의 로그우도를 최소화하는 분할 문제로 공식화하며, 손실 함수는 $\ell(m,z) = m - z\log m$이다.
• 최적 비용의 기능적 표현을 사용한 동적 프로그래밍을 통해 비최적의 세그먼트 경계를 제거하면서도 최적성을 유지한다.
• 순차적 탐색 알고리즘은 최대 $P$개의 피크를 가진 최적 모델을 찾기 위해 GFPOP을 $O(\log N)$번 호출하며, 필요한 GFPOP 호출 수를 $O(P)$에서 $O\left(\log P\right)$로 줄인다.
• 대규모 데이터 세트를 관리하기 위해 디스크 기반 스토리지가 사용되며, 실증 결과에 따르면 메모리 기반 방법과 비교해 상수 요인 수준의 느림만을 보였다.
• 이 방법은 PeakSegDisk R 패키지로 구현되어 있으며, 확장성을 위해 메모리 및 디스크 기반 계산을 모두 지원한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 변화점 알고리즘이 유전자 데이터의 피크 탐지에서 최적성을 유지하면서도 $O(N\log N)$ 시간 복잡도를 달성할 수 있는가?
• RQ2 기존의 $O(N\sqrt{N}\log N)$ 방법보다 훨씬 빠른 $O(N(\log N)^2)$ 시간 내에 $O(\sqrt{N})$ 피크를 가진 최적 모델을 계산할 수 있는가?
• RQ3 디스크 기반 스토리지가 대규모 유전자 데이터의 최적 변화점 탐지에서 성능과 메모리 사용에 어떤 영향을 미치는가?
• RQ4 순차적 탐색 전략을 통해 $P$개의 피크를 가진 최적 모델을 찾기 위해 필요한 GFPOP 호출 수를 $O(P)$에서 $O(\log P)$로 줄일 수 있는가?

주요 결과

• GFPOP는 단일 펜alty에 대해 $O(N\log N)$ 시간과 $O(N\log N)$ 공간 복잡도로 최적의 분할을 계산하며, 메모리 사용은 오직 $O(\log N)$이다.
• 모든 $N = 10^7$일 때, 순차적 탐색 알고리즘은 $O(\sqrt{N})$ 피크를 가진 최적의 모델을 계산하기 위해 GFPOP를 단지 10~15번 호출하며, Segment Neighborhood 방법의 2828번의 DP 반복에 비해 오차가 없는 모델을 생성한다.
• 순차적 탐색은 $O(N\log(N)\log P)$ 시간에 실행되며, $P > 5$ 피크일 경우 Segment Neighborhood 방법의 $O(N\sqrt{N}\log N)$ 시간에 비해 상당히 빠르다.
• 실증 결과에 따르면 디스크 기반 GFPOP는 메모리 기반 계산에 비해 상수 요인 수준의 느림 뿐만 아니라, $N = 10^7$ 데이터 포인트를 수 시간 내에 처리할 수 있게 하여 수주가 아닌 수시간 내에 처리가 가능해졌다.
• 기준 데이터에서 $P = O(\sqrt{N})$일 때, 이 방법은 레이블 오류가 전혀 없이 성능을 보였으며, 이는 일반적인 유전자 데이터에서 실용적이고 최적의 피크 수임을 확인한다.
• PeakSegDisk 패키지는 많은 피크를 가진 최적 모델의 실용적 계산을 가능하게 하여, 저장소 요구량을 220테라바이트에서 100기가바이트 이하로 줄이고, 계산 시간을 17주에서 1주 이하로 단축시켰다.