[논문 리뷰] Finding Archetypal Spaces for Data Using Neural Networks.

David van Dijk, Daniel B. Burkhardt외 4명|arXiv (Cornell University)|2019. 01. 25.

Music and Audio Processing참고 문헌 15인용 수 7

한 줄 요약

이 논문은 데이터가 비선형 다면체에 가장 잘 맞는 변환 하에서 학습하는 딥러닝 프레임워크인 AAnet을 제안한다. 이는 아키타입 데이터 상태의 발견을 가능하게 한다. AAnet은 단세포 T세포 및 장내 미생물군집 데이터에서 생물학적으로 의미 있는 아키타입을 성공적으로 식별하였으며, 비선형 합성 데이터에서 전통적 방법을 능가하고 데이터 기하학적 특성을 기반으로 생성 샘플링을 가능하게 한다.

ABSTRACT

Archetypal analysis is a type of factor analysis where data is fit by a convex polytope whose corners are archetypes of the data, with the data represented as a convex combination of these archetypal points. While archetypal analysis has been used on biological data, it has not achieved widespread adoption because most data are not well fit by a convex polytope in either the ambient space or after standard data transformations. We propose a new approach to archetypal analysis. Instead of fitting a convex polytope directly on data or after a specific data transformation, we train a neural network (AAnet) to learn a transformation under which the data can best fit into a polytope. We validate this approach on synthetic data where we add nonlinearity. Here, AAnet is the only method that correctly identifies the archetypes. We also demonstrate AAnet on two biological datasets. In a T cell dataset measured with single cell RNA-sequencing, AAnet identifies several archetypal states corresponding to naive, memory, and cytotoxic T cells. In a dataset of gut microbiome profiles, AAnet recovers both previously described microbiome states and identifies novel extrema in the data. Finally, we show that AAnet has generative properties allowing us to uniformly sample from the data geometry even when the input data is not uniformly distributed.

연구 동기 및 목표

• 기존 아키타입 분석은 원래 또는 변환된 공간에서 데이터가 볼록 다면체 내에 존재한다고 가정하는 제약을 지님. 그러나 현실 세계의 비선형 데이터에서는 이 가정이 자주 실패함.
• 신경망을 통해 최적의 비선형 변환을 학습하는 방법을 개발하여, 변환된 공간에서 데이터가 볼록 다면체에 잘 맞도록 함.
• 선형 가정이 실패하는 생물학적 데이터, 예를 들어 T세포 아형 및 미생물군집 프로파일에서 아키타입 상태를 정확하게 식별할 수 있도록 함.
• 학습된 변환은 입력 데이터가 균일하게 분포되어 있지 않은 경우에도 데이터 기하학적 구조에서 생성 샘플링을 지원함을 보여줌.

제안 방법

• AAnet는 입력 데이터의 비선형 변환을 학습하여, 변환된 데이터가 아키타입 점들의 볼록 조합으로 잘 근사될 수 있도록 하는 신경망이다.
• 원본 데이터와 변환된 공간에서 아키타입의 볼록 조합 간의 재구성 오차를 최소화하는 손실 함수를 최적화한다.
• 아키타입은 네트워크의 파라미터로 종합적으로 학습되며, 기하학적 구조를 유지하고 기울기 기반 최적화를 가능하게 하기 위해 네트워크 아키텍처가 설계되었다.
• 변환된 공간에서 아키타입의 볼록 hull에서 균일한 샘플링이 가능하여, 기저 데이터 기하학을 존중하는 데이터 생성이 가능하다.
• AAnet는 역전파와 확률적 최적화를 사용하여 훈련되며, 안정적이고 의미 있는 아키타입 발견을 보장하기 위해 정규화가 적용된다.
• 비선형 다양체를 가진 합성 데이터에서 검증되었고, 단세포 RNA-seq 및 16S rRNA 장내 미생물군집 프로파일을 포함한 실제 생물학적 데이터셋에 적용됨.

실험 결과

연구 질문

• RQ1 신경망은 기존 아키타입 분석보다 데이터를 볼록 다면체에 더 잘 맞추는 비선형 변환을 학습할 수 있는가?
• RQ2 AAnet는 단세포 T세포 및 장내 미생물군집 데이터셋에서 알려진 생물학적 아키타입 상태를 정확히 복원하는가?
• RQ3 AAnet는 선형 방법이 포착하지 못한 새로운, 이전에 발견되지 않은 극값을 생물학적 데이터에서 식별할 수 있는가?
• RQ4 학습된 변환은 입력 데이터가 균일하게 분포되어 있지 않은 경우에도 데이터 기하학에서 생성 샘플링을 지원하는가?

주요 결과

• 합성 비선형 데이터에서 AAnet는 유일하게 진정한 아키타입 점을 정확히 식별하며, 기존 아키타입 분석을 능가한다.
• 단세포 RNA-seq T세포 데이터셋에서 AAnet는 난이성, 기억, 세포독성 T세포에 해당하는 아키타입 상태를 식별하였으며, 알려진 생물학적 아형과 일치한다.
• 장내 미생물군집 데이터셋에서 AAnet는 이전에 기술된 미생물군집 상태를 복원하였고, 문헌에 이전에 보고되지 않은 새로운 극값을 식별하였다.
• AAnet를 통해 학습된 변환은 원래 데이터 분포가 비균일한 경우에도 아키타입의 볼록 hull에서 균일한 샘플링을 가능하게 한다.
• AAnet는 데이터 기하학의 기하학적 구조 내에 위치하는 새로운 데이터 포인트를 생성함으로써 생성 능력을 입증하였으며, 생물학적으로 타당성을 유지한다.
• 기존 아키타입 분석이 원래 또는 변환된 공간에서 볼록성에 의존하기 때문에 비선형 데이터 구조에서는 실패하는 상황에서도 AAnet는 강건성을 보였다.