[논문 리뷰] Diet Networks: Thin Parameters for Fat Genomics

Adriana Romero, Pierre Carrier외 8명|arXiv (Cornell University)|2016. 11. 28.

Cancer-related molecular mechanisms research인용 수 10

한 줄 요약

이 논문은 고차원 유전체 데이터—특히 단일 염기 다형성(SNPs)에 대해 딥러닝 모델의 자유 매개변수 수를 극적으로 감소시키는 새로운 신경망 파arametrization인 Diets Networks를 소개한다. 특성별 매개변수 임베딩을 학습하기 위해 매개변수 예측 네트워크를 사용함으로써, 이 방법은 15,800개의 매개변수와 7.44%의 오분류 오차를 기록하며, 표준 딥러닝 네트워크와 PCA 기반 접근 방식을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning tasks such as those involving genomic data often poses a serious challenge: the number of input features can be orders of magnitude larger than the number of training examples, making it difficult to avoid overfitting, even when using the known regularization techniques. We focus here on tasks in which the input is a description of the genetic variation specific to a patient, the single nucleotide polymorphisms (SNPs), yielding millions of ternary inputs. Improving the ability of deep learning to handle such datasets could have an important impact in precision medicine, where high-dimensional data regarding a particular patient is used to make predictions of interest. Even though the amount of data for such tasks is increasing, this mismatch between the number of examples and the number of inputs remains a concern. Naive implementations of classifier neural networks involve a huge number of free parameters in their first layer: each input feature is associated with as many parameters as there are hidden units. We propose a novel neural network parametrization which considerably reduces the number of free parameters. It is based on the idea that we can first learn or provide a distributed representation for each input feature (e.g. for each position in the genome where variations are observed), and then learn (with another neural network called the parameter prediction network) how to map a feature's distributed representation to the vector of parameters specific to that feature in the classifier neural network (the weights which link the value of the feature to each of the hidden units). We show experimentally on a population stratification task of interest to medical studies that the proposed approach can significantly reduce both the number of parameters and the error rate of the classifier.

연구 동기 및 목표

• 입력 특성 수가 수백만 개에 이르는 고차원 유전체 입력(예: 수백만 개의 SNP)에서 학습 예제 수가 훨씬 적을 때 발생하는 과적합 문제를 해결한다.
• 입력 특성 수에 비례하여 증가하는 신경망 분류기의 첫 번째 밀집층과 같은 자유 매개변수 수를 줄인다.
• SNP 데이터를 사용한 인구 분류 작업에서 일반화 능력과 예측 성능을 향상시켜, 유전적 연관성 연구의 핵심 과제인 인구 분류 문제를 해결한다.
• 데이터는 고차원이지만 표본 수가 여전히 제한된 정밀의료 응용에 적합한 매개변수 효율적인 아키텍처를 개발한다.

제안 방법

• 각 입력 특성에 대해 임베딩 표현 기반으로 가중치를 생성하는 매개변수 예측 네트워크를 사용해 완전 연결층을 재구성한다.
• 공유된 임베딩 레이어를 사용해 각 SNP(특성)를 값에 관계없이 분산 벡터로 인코딩함으로써 매개변수 폭발을 줄인다(예: AA, AG, GG).
• 매개변수 예측 네트워크를 훈련시켜 각 SNP의 임베딩을 해당 특성이 분류기의 모든 은닉 유닛과 연결되는 가중치 벡터로 매핑한다.
• 각 특성의 매개변수 생성을 별도이지만 공유되는 예측 작업으로 간주하는 다중 작업 학습 설정을 도입한다.
• 1,000 Genomes 데이터셋을 사용해 인구 종원 예측 작업에 이 방법을 적용하고, 다양한 임베딩 전략과 기준 모델 간 성능을 비교한다.
• 재구성 손실과 엔드 투 엔드 훈련을 적용해 임베딩 품질과 일반화 능력을 향상시키며, 특히 특성 임베딩과 함께 사용할 경우 효과가 뛰어나다.

실험 결과

연구 질문

• RQ1 자신의 매개변수 효율적인 신경망 아키텍처가 고차원 유전체 데이터에서 표본 수가 제한된 경우 과적합을 줄일 수 있는가?
• RQ2 제안된 Diet Network 파arametrization은 종원 예측 정확도에서 표준 딥러닝 네트워크와 PCA 기반 차원 축소 기법보다 어떻게 비교되는가?
• RQ3 사전 학습된 또는 학습된 특성 임베딩(예: SNP2Vec, 각 클래스 히스토GRAM)을 사용하면 자유 매개변수 수를 얼마나 줄일 수 있으며, 성능은 유지되거나 향상되는가?
• RQ4 임베딩에서 특성별 가중치를 생성하는 매개변수 예측 네트워크를 사용하면 표준 완전 연결층보다 더 나은 일반화 성능을 달성하는가?
• RQ5 이 방법은 실제 정밀의료 응용 분야—예: 인구 분류 및 유전적 연관성 연구—에 효과적으로 적용될 수 있는가?

주요 결과

• 각 클래스 히스토GRAM 임베딩을 사용한 Diet Network는 평균 오분류 오차 7.44% ± 0.45를 기록하며, 모든 다른 모델과 PCA 기준 모델을 능가했다.
• 이 방법은 자유 매개변수 수를 단 15,800개로 줄여 표준 3150만 매개변수 모델 대비 99.95% 감소시켰다.
• 성능이 가장 뛰어난 모델(각 클래스 히스토GRAM)은 5개 지리적 지역 수준에서 종원 예측 시 거의 100%의 정확도를 기록하여 강력한 일반화 능력을 보였다.
• PCA 기반 방법은 Diet Network의 15,800개 매개변수 성능을 따라잡기 위해 200개 주요 성분이 필요했으며, 이는 선형 차원 축소의 비효율성을 보여주었다.
• 분류기의 은닉층을 추가해도 성능 향상이 없었으며, 이는 매개변수 효율적인 아키텍처가 충분한 표현 능력을 구현하고 있음을 시사한다.
• 재구성 손실과 각 클래스 히스토GRAM 임베딩을 사용한 모델는 7.44%의 오차를 기록하며, 임베딩과 매개변수 예측의 공동 최적화가 강건성을 향상시킨다는 것을 입증했다.