[논문 리뷰] Medoids in almost linear time via multi-armed bandits

Vivek Bagaria, Govinda M. Kamath외 3명|arXiv (Cornell University)|2017. 11. 02.

Single-cell and spatial transcriptomics참고 문헌 13인용 수 9

한 줄 요약

이 논문은 다차원 데이터셋의 정확한 메도이드를 O(n log n) 거리 평가 횟수로 계산하는 새로운 알고리즘 Med-dit를 제안한다. 다중 손잡이 띠거움 프레임워크를 사용하여 각 점을 암으로 간주하고 신뢰구간 기반으로 적응적으로 거리를 샘플링함으로써, 거리 대칭성이나 삼각부등식을 요구하지 않으면서도 단일세포 RNA-Seq 및 Netflix와 같은 대규모 데이터셋에서 최신 기술인 RAND 및 TOPRANK보다 최대 10배 빠른 성능을 달성한다.

ABSTRACT

Computing the medoid of a large number of points in high-dimensional space is an increasingly common operation in many data science problems. We present an algorithm Med-dit which uses O(n log n) distance evaluations to compute the medoid with high probability. Med-dit is based on a connection with the multi-armed bandit problem. We evaluate the performance of Med-dit empirically on the Netflix-prize and the single-cell RNA-Seq datasets, containing hundreds of thousands of points living in tens of thousands of dimensions, and observe a 5-10x improvement in performance over the current state of the art. Med-dit is available at https://github.com/bagavi/Meddit

연구 동기 및 목표

• 수십만 개의 점을 포함하는 다차원 데이터셋에서 정확한 메도이드 계산이 계산적으로 불가능한 문제를 해결하기 위해.
• 일반적인 접근이나 표본 기반 접근보다 훨씬 적은 거리 평가 횟수로 정확한 메도이드를 고확률로 찾는 방법을 개발하기 위해.
• 비대칭 또는 삼각부등식을 만족하지 않는 메트릭을 포함한 임의의 거리 측정법에 대해 강건한 알고리즘을 설계하기 위해.
• 차원에 관계없이 거의 선형 시간 복잡도를 달성하여 유전자 발현 또는 추천 시스템과 같은 다차원 데이터에 대해 확장 가능한 알고리즘을 만들기 위해.
• 특히 trimed 및 TOPRANK와 같은 기존 방법이 불가능해지는 다차원 환경에서 실용적이고 효율적인 대안을 제공하기 위해.

제안 방법

• Med-dit는 각 데이터 포인트를 평균 거리가 알려지지 않은 암으로 간주하는 다중 손잡이 띠거움(MAB) 문제로 메도이드 문제를 모델링한다.
• 상한 및 하한 신뢰구간(UCB)을 사용하여 고려 대상이 되는 후보 포인트 집합을 동적으로 유지하며, 메도이드가 될 수 없는 가능성이 있는 포인트는 제거한다.
• 모든 포인트 중에서 가장 낮은 상한 신뢰구간 이하인 하한 신뢰구간을 가진 포인트에 대해 거리를 적응적으로 샘플링함으로써 효율적인 탐색을 보장한다.
• 모든 포인트의 신뢰구간 중 하나를 제외한 나머지 포인트의 신뢰구간이 진짜 메도이드를 포함하지 않을 때까지 알고리즘이 정지하여 고확률 정확성을 보장한다.
• 이론적 분석은 거리 추정치의 하우프만-가우시안 성질을 가정하며, 고차원에서 중심극한정리에 의해 정당화된다.
• 이 방법은 거리 메트릭 성질에 무관하며, 대칭성이나 삼각부등식을 요구하지 않는다.

실험 결과

연구 질문

• RQ1 메도이드 계산 문제를 다중 손잡이 띠거움 문제로 재정의하여 효율적이고 적응적인 샘플링을 가능하게 할 수 있는가?
• RQ2 실제 데이터 가정 하에 메도이드 계산의 정확한 해를 구하기 위해 O(n log n) 거리 평가 횟수를 달성하는 띠거움 기반 접근법이 가능한가?
• RQ3 Med-dit의 성능은 trimed 및 TOPRANK와 같은 기존 방법과 비교해 다차원 환경에서 어떻게 스케일링되는가?
• RQ4 실제 다차원 데이터셋, 예를 들어 단일세포 RNA-Seq에서 Med-dit는 얼마나 많은 거리 평가 횟수를 줄이는가?
• RQ5 신뢰수준 δ를 조정하여 속도와 정확도의 균형을 맞출 수 있는가? 이 경우 정확성은 손상되지 않는가?

주요 결과

• Med-dit는 고확률로 정확한 메도이드를 계산하기 위해 O(n log n) 거리 평가 횟수를 달성하며, RAND의 O(n log n / ε) 복잡도보다 크게 향상된다.
• 109,140개의 세포를 포함하는 단일세포 RNA-Seq 데이터셋에서 Med-dit는 유사한 성능을 달성하기 위해 RAND보다 약 10배 적은 거리를 평가한다.
• 다차원 환경(예: 784차원의 MNIST)에서 Med-dit는 차원에 대한 지수적 의존도로 고통받는 trimed보다 뛰어난 성능을 보인다.
• 실험적으로 Med-dit는 1,000회의 시험에서 포인트당 평균 80회의 거리 평가만을 사용하며, 이는 이론적 추정치인 266회의 평가보다 훨씬 적은 것으로, 강력한 실용적 효율성을 보여준다.
• 알고리즘은 99.99%의 신뢰수준으로 메도이드를 정확히 식별하며, 150개의 상위 후보 중 9개에서는 모든 다른 포인트와의 평균 거리를 정확히 계산한다.
• 메도이드의 평균 거리에 대한 신뢰구간은 모든 다른 포인트의 것들보다 엄격히 아래에 위치하여 종료 시 정확성을 보장한다.