[논문 리뷰] On UMAP's true loss function

Sebastian Damrich, Fred A. Hamprecht|arXiv (Cornell University)|2021. 03. 26.

Advanced MIMO Systems Optimization참고 문헌 14인용 수 15

한 줄 요약

이 논문은 UMAP의 진정한 손실 함수—해석적으로 유도된 것—이 공개된 형태와 상당히 다름을 드러내며, UMAP이 고차원 유사도를 유지한다고 주장하는 바와는 달리 공유 k-최근접 이웃 그래프의 양자화된 버전을 최적화하고 있음을 보여준다. 핵심 통찰은 UMAP의 성공이 유사도 유지 때문이 아니라, 음성 샘플링 기반으로 유도되는 균형 잡힌 유인-반발력 동역학 덕분이며, 이는 효과적인 경사 하강 최적화를 가능하게 한다.

ABSTRACT

UMAP has supplanted t-SNE as state-of-the-art for visualizing high-dimensional datasets in many disciplines, but the reason for its success is not well understood. In this work, we investigate UMAP's sampling based optimization scheme in detail. We derive UMAP's effective loss function in closed form and find that it differs from the published one. As a consequence, we show that UMAP does not aim to reproduce its theoretically motivated high-dimensional UMAP similarities. Instead, it tries to reproduce similarities that only encode the shared $k$ nearest neighbor graph, thereby challenging the previous understanding of UMAP's effectiveness. Instead, we claim that the key to UMAP's success is its implicit balancing of attraction and repulsion resulting from negative sampling. This balancing in turn facilitates optimization via gradient descent. We corroborate our theoretical findings on toy and single cell RNA sequencing data.

연구 동기 및 목표

• UMAP의 이론적 동기가 그 이론적 배경과는 달리 고차원 데이터를 시각화하는 데서 나타나는 경험적 성공 사이의 괴리를 해결하기 위해.
• 특히 효과적인 손실 함수에 미치는 영향을 고려하여 UMAP의 기반 샘플링 최적화 방식을 상세히 분석하기 위해.
• UMAP이 실제로 고차원 유사도를 재현하는지, 아니면 단순화된 이진화된 형태의 데이터 구조를 근사하는지 판단하기 위해.
• UMAP가 주장하는 복잡한 유사도 측정치를 재현하지 못함에도 불구하고 높은 품질의 시각화를 생성하는 이유를 설명하기 위해.

제안 방법

• 샘플링 기반 기대값의 해석적 계산을 통해 UMAP 최적화 과정의 폐쇄형 효과 손실 함수를 유도하기 위해.
• 유도된 효과 손실 함수를 UMAP의 공개된 손실 함수와 비교하여 반발 항의 가중치에서의 격차를 확인하기 위해.
• UMAP가 실제로 재현하고자 하는 목표 유사도(ν*ij)를 분석하여, 이들이 입력 유사도의 효과적인 이진화된 형태임을 보여주기 위해.
• 효과 손실 함수가 유인력과 반발력 간의 균형을 이끌어내며, 원래 공식화에서는 반발력이 우세할 것임에도 불구하고 이를 확인하기 위해.
• 시뮬레이션 데이터와 단일세포 RNA-seq 데이터(C. elegans)를 활용해 발견을 검증하여 예측된 시각화와 관측된 결과 간의 일치를 보여주기 위해.
• 고차원(μij), 목표(ν*ij), 저차원(νij) 유사도의 히스토GRAM을 사용하여 UMAP이 입력 유사도가 아닌 목표 유사도를 재현하고 있음을 확인하기 위해.

실험 결과

연구 질문

• RQ1 샘플링 기반 접근 방식을 고려할 때, UMAP 최적화 절차가 실제로 최소화하는 진정한 손실 함수는 무엇인가요?
• RQ2 효과 손실 함수는 UMAP 원래 공식화에서 명시된 것과 어떻게 다릅니까?
• RQ3 UMAP은 임베딩 공간에서 고차원 UMAP 유사도를 어느 정도 유지합니까?
• RQ4 UMAP가 주장하는 모델링 대상인 복잡한 유사도 구조를 재현하지 못함에도 불구하고 높은 품질의 시각화를 생성하는 이유는 무엇입니까?
• RQ5 유인력과 반발력 간의 균형이 UMAP 최적화 성공에 어떤 역할을 합니까?

주요 결과

• UMAP의 진정한 손실 함수는 공개된 손실 함수와 상당히 다름을 보이며, 특히 반발 항의 가중치에서 뚜렷한 차이를 보인다.
• 효과 손실 함수는 공유 k-최근접 이웃 그래프의 이진화된 형태에 해당하는 목표 유사도 행렬을 유도하며, 전체 고차원 UMAP 유사도가 아님을 보여준다.
• UMAP은 고차원 유사도를 재현하지 않으며, 대신 k-NN 관계에 기반한 이진 연결성 그래프를 근사한다.
• 효과 손실 함수에서 총 유인력과 반발력 가중치는 균형을 이루며, 특히 기본 설정(m=5)에서 안정적인 경사 하강 최적화를 가능하게 한다.
• 관찰된 시각적 아티팩트, 예를 들어 날카롭고 일차원적인 하위 구조는 진정한 최적화 목표가 아니라 원래 손실 공식에서 힘의 크기 균형이 깨진 데서 기인한다.
• 토이 데이터와 단일세포 RNA-seq 데이터를 통한 실증 검증을 통해 UMAP 임베딩이 원래 고차원 유사도 μij가 아닌 목표 유사도 ν*ij와 일치함을 확인하였다.