[논문 리뷰] Linear Time Construction of Indexable Founder Block Graphs

Veli Mäkinen, Bastien Cazaux외 3명|arXiv (Cornell University)|2020. 05. 19.

Algorithms and Data Compression인용 수 9

한 줄 요약

이 논문은 갭 없는 다중 서열 정렬(MSA)에서 선형 시간 알고리즘을 통해 세그먼트 반복 없이 구성된 팔로워 블록 그래프를 구축하는 방법을 제시한다. 이는 압축된 색인을 통해 효율적인 문자열 매칭을 가능하게 한다. 이 방법은 최적의 세그먼트 분할을 위한 동적 프rogram밍과 완전 기능을 갖춘 양방향 BWT 색인을 조합하여, 빠른 패턴 쿼리가 가능하면서도 원본 MSA 크기의 3%에 불과한 공간을 사용하는 압축된 그래프 구조를 제공한다.

ABSTRACT

We introduce a compact pangenome representation based on an optimal segmentation concept that aims to reconstruct founder sequences from a multiple sequence alignment (MSA). Such founder sequences have the feature that each row of the MSA is a recombination of the founders. Several linear time dynamic programming algorithms have been previously devised to optimize segmentations that induce founder blocks that then can be concatenated into a set of founder sequences. All possible concatenation orders can be expressed as a founder block graph. We observe a key property of such graphs: if the node labels (founder segments) do not repeat in the paths of the graph, such graphs can be indexed for efficient string matching. We call such graphs segment repeat-free founder block graphs. We give a linear time algorithm to construct a segment repeat-free founder block graph given an MSA. The algorithm combines techniques from the founder segmentation algorithms (Cazaux et al. SPIRE 2019) and fully-functional bidirectional Burrows-Wheeler index (Belazzougui and Cunial, CPM 2019). We derive a succinct index structure to support queries of arbitrary length in the paths of the graph. Experiments on an MSA of SAR-CoV-2 strains are reported. An MSA of size $410 imes 29811$ is compacted in one minute into a segment repeat-free founder block graph of 3900 nodes and 4440 edges. The maximum length and total length of node labels is 12 and 34968, respectively. The index on the graph takes only $3\%$ of the size of the MSA.

연구 동기 및 목표

• 팔로워 서열에서 효율적인 문자열 매칭을 지원하는 압축형, 색인 가능한 편집지수 표현 방식을 개발하기 위해.
• MSA에서 팔로워 서열을 재구성하기 위해 최적의 세그먼트 분할을 통해 편집지수 모델의 과다 표현 문제를 해결하기 위해.
• 압축된 색인을 통해 팔로워 블록 그래프의 경로에서 임의의 길이의 패턴을 효율적으로 쿼리할 수 있도록 하기 위해.
• 이론적 기초가 아직 발전 중이지만, 갭이 있는 일반적인 MSA에 대해서도 팔로워 블록 그래프의 적용 가능성을 확장하기 위해.

제안 방법

• 행 매핑의 불연속성을 최소화하기 위해 MSA를 팔로워 블록으로 최적의 세그먼트 분할을 계산하기 위해 동적 프로그래밍을 사용한다.
• 노드가 팔로워 서열의 반복되지 않는 세그먼트를 나타내고, 간선이 연속된 블록 간 전이를 나타내는 방향 비순환 그래프(DAG)를 구축한다.
• 세그먼트 반복 없음 성질을 강제 적용: 어떤 경로에도 동일한 세그먼트 레이블이 두 번 이상 나타나지 않도록 하여 효율적인 색인을 가능하게 한다.
• 그래프 경로에서의 빠른 패턴 매칭을 지원하기 위해 완전 기능을 갖춘 양방향 Burrows-Wheeler 변환(BWT)을 통합한다.
• 압축된 데이터 구조를 적용하여 그래프를 색인화하고, 실험 결과 원본 MSA 크기의 3%에 불과한 최소한의 공간 오버헤드를 확보한다.
• 중첩된 BWT 간격을 탐지하고, 중첩된 반복이 발견될 경우 왼쪽 확장 연산을 연기함으로써 갭이 있는 MSA를 처리하기 위해 방법을 확장한다.

실험 결과

연구 질문

• RQ1 갭 없는 MSA에서 선형 시간 내에 세그먼트 반복 없이 구성된 팔로워 블록 그래프를 구축할 수 있는가? 이는 효율적인 색인화를 가능하게 한다.
• RQ2 어떻게 압축된 색인을 팔로워 블록 그래프에 구축하여 임의의 길이의 패턴에 대한 정확한 문자열 매칭을 지원할 수 있는가?
• RQ3 제안된 색인 구조의 공간 및 시간 효율성은 원본 MSA와 비교해 어떻게 되는가?
• RQ4 시간 복잡도나 색인 효율성을 희생시키지 않고, 갭이 있는 MSA로의 일반화가 가능한가?

주요 결과

• 알고리즘은 갭 없는 MSA에서 선형 시간 내에 세그먼트 반복 없이 구성된 팔로워 블록 그래프를 생성하며, 행의 불연속성이 최소화된 최적의 세그먼트 분할을 달성한다.
• 410개의 변종과 29,811개의 열을 가진 SARS-CoV-2 MSA에서, 이 방법은 58초 만에 3,900개의 노드와 4,440개의 간선을 가진 그래프를 생성하였다.
• 그래프의 노드 레이블 총 길이는 34,968이며, 압축 색인은 오직 87 KB에 불과하여 원본 MSA 크기(2,984 KB)의 3%에 해당한다.
• 쿼리 성능은 MSA 크기와 무관하게 패턴 길이에 비례하며, 다양한 샘플 크기와 패턴 길이에서 일관된 반응 시간을 보였다.
• 그래프의 경로에서 효율적인 문자열 매칭을 지원하며, 입력 크기 증가에 따른 성능 저하 없이 확장 가능함을 보였다.
• 갭이 있는 MSA에 대한 초기 실험 결과는 갭이 없는 경우와 유사한 행동을 보였지만, 일반성에 대한 이론적 보장은 아직 확립되지 않았다.