[논문 리뷰] Out-of-Sample Extrapolation with Neuron Editing

Matthew Amodio, David van Dijk외 3명|arXiv (Cornell University)|2018. 05. 30.

Cell Image Analysis Techniques참고 문헌 42인용 수 5

한 줄 요약

이 논문은 자동에코더의 잠재 공간에서 뉴런 활성화를 편집함으로써 일반화된 치료 효과를 학습하는 뉴런 편집 기법을 제안한다. 이는 이미지 및 단일세포 생물학적 데이터에서 샘플 외부로의 정확한 외삽을 가능하게 하며, 진짜 분산을 유지하고 복잡한 맥락 인식 전환을 더 충실하게 모델링함으로써 GAN 기반 접근법을 능가한다.

ABSTRACT

While neural networks can be trained to map from one specific dataset to another, they usually do not learn a generalized transformation that can extrapolate accurately outside the space of training. For instance, a generative adversarial network (GAN) exclusively trained to transform images of black-haired men to blond-haired men might not have the same effect on images of black-haired women. This is because neural networks are good at generation within the manifold of the data that they are trained on. However, generating new samples outside of the manifold or extrapolating "out-of-sample" is a much harder problem that has been less well studied. To address this, we introduce a technique called neuron editing that learns how neurons encode an edit for a particular transformation in a latent space. We use an autoencoder to decompose the variation within the dataset into activations of different neurons and generate transformed data by defining an editing transformation on those neurons. By performing the transformation in a latent trained space, we encode fairly complex and non-linear transformations to the data with much simpler distribution shifts to the neuron's activations. We motivate our technique on an image domain and then move to our two main biological applications: removal of batch artifacts representing unwanted noise and modeling the effect of drug treatments to predict synergy between drugs.

연구 동기 및 목표

• 신경망이 학습 데이터 다양체를 초월해 치료 효과를 일반화하는 데에 한계가 있음에 대응하기 위해.
• 단일세포 생물학 데이터에서 치료 후 측정된 샘플의 일부만 존재할 경우, 맥락에 따라 달라지는 치료 효과를 모델링하기 위해.
• 특정 데이터 분포를 암기하는 대신, 아직 보지 못한 데이터에 적용 가능한 일반적인 편집 함수를 학습하는 방법을 개발하기 위해.
• 부분적인 치료 데이터에서부터 외삽하여 단일세포 옴리크스에서 조합적 약물 효과를 정확하게 예측할 수 있도록 하기 위해.
• 노이즈 제거된 비선형 잠재 공간에서 편집을 수행할 경우, 원래 공간에서의 생성 모델링보다 더 현실적이며 일반화된 전환을 얻을 수 있음을 보여주기 위해.

제안 방법

• 일부 인구 집단의 치료 전 및 치료 후 데이터에 대해 정규화된 자동에코더를 훈련시어, 공동 비선형 다양체 표현을 학습한다.
• 잠잠층의 각 뉴런에 대해 치료 전과 치료 후 샘플의 활성화 분포의 차이를 추출한다.
• 이러한 학습된 활성화 이동을 나머지 인구 집단의 치료 전 데이터의 잠재 표현에 적용하여 합성된 치료 후 데이터를 생성한다.
• 디코더를 사용하여 편집된 잠재 표현을 원래 데이터 공간으로 재구성함으로써 변환된 샘플을 생성한다.
• 자기에코더의 노이즈 제거 성질을 활용하여, 편집이 잡음이 아닌 의미 있는 저차원 특징에 적용되도록 보장한다.
• 잠재 공간에서 뉴런 단위로 편집을 수행함으로써, 추상적 특징에 대한 단순한 분포 이동을 통해 복잡한 비선형 전환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 데이터 다양체를 초월해 일반화 가능한 편집 함수를 학습할 수 있는가?
• RQ2 샘플 외부로의 외삽에서 뉴런 편집이 진짜 데이터 분산을 유지하는 데서 GAN 기반 생성 방식과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ3 뉴런 편집이 단일세포 옴리크스 데이터에서 약물 상호작용과 같은 맥락에 따라 달라지는 치료 효과를 정확하게 모델링할 수 있는가?
• RQ4 노이즈 제거된 비선형 잠재 공간에서의 편집이 원래 공간에서의 생성보다 생성된 데이터의 현실성과 정확도를 향상시키는가?
• RQ5 뉴런 편집을 통해 고차원 생물학적 데이터에서 소규모이고 정밀한 변화를 도입할 수 있는가, 동시에 임의의 변화를 유발하지는 않는가?

주요 결과

• 뉴런 편집은 특히 고차원 생물학적 데이터에서 복잡한 상황에서 GAN 기반 방법보다 진짜 평균 변화를 더 정확하게 예측한다.
• 뉴런 편집은 진짜 데이터 분산을 더 잘 유지하지만, GAN은 항상 실제 치료 후 샘플보다 낮은 분산을 생성한다.
• 이미지 데이터에서는 뉴런 편집이 실제 전환을 반영하는 의미 있는 맥락 인식 편집을 생성하지만, GAN은 학습 다양체를 초월해 일반화하지 못한다.
• 조합적 약물 치료 예측에서는 뉴런 편집이 p4EBP1(핵심 생물학적 마커)의 수평 이동을 정확히 모델링하지만, pSTATS의 유사한 수직 변화는 유도하지 않는다.
• 정규화된 자동에코더 기반 모델은 내부 활성화가 수정되더라도 의미 있는 전환을 전혀 생성하지 못한다. 이는 재구성 페널티 때문이기 때문이다.
• GAN은 잔차 연결을 사용하고 있음에도 불구하고, 진짜 목표 분포의 이차원 슬라이스조차도 재현하지 못해, 정확한 전환을 학습하지 못하고 있음을 시사한다.