[논문 리뷰] Concrete Autoencoders for Differentiable Feature Selection and Reconstruction

Abubakar Abid, Muhammad Fatih Balin외 1명|arXiv (Cornell University)|2019. 01. 27.

Gene expression and cancer classification참고 문헌 24인용 수 76

한 줄 요약

도 differentiable 프레임워크(Concrete autoencoder)를 도입하여 Concrete 선택자 층을 사용한 비지도 글로벌 특징 선택을 수행하고, 축소된 특징 세트에서의 재구성 최적화를 통해 재구성 및 결측값 추정 성능을 개선한다. 대규모 L1000 유전자 발현 사례 연구를 포함하여 성능 향상을 시연한다.

ABSTRACT

We introduce the concrete autoencoder, an end-to-end differentiable method for global feature selection, which efficiently identifies a subset of the most informative features and simultaneously learns a neural network to reconstruct the input data from the selected features. Our method is unsupervised, and is based on using a concrete selector layer as the encoder and using a standard neural network as the decoder. During the training phase, the temperature of the concrete selector layer is gradually decreased, which encourages a user-specified number of discrete features to be learned. During test time, the selected features can be used with the decoder network to reconstruct the remaining input features. We evaluate concrete autoencoders on a variety of datasets, where they significantly outperform state-of-the-art methods for feature selection and data reconstruction. In particular, on a large-scale gene expression dataset, the concrete autoencoder selects a small subset of genes whose expression levels can be use to impute the expression levels of the remaining genes. In doing so, it improves on the current widely-used expert-curated L1000 landmark genes, potentially reducing measurement costs by 20%. The concrete autoencoder can be implemented by adding just a few lines of code to a standard autoencoder.

연구 동기 및 목표

• 비지도 설정에서 정보성 특징의 부분집합을 식별하면서 전체 데이터를 재구성 가능하도록 한다.
• 연속적이되 미분 가능한 층을 통해 이산 특징을 선택하는 엔드투엔드 차별 가능 방법을 개발한다.
• 사용자 지정 특징 수를 사용하여 다양한 데이터셋에서 최소 재구성 오류를 달성한다.
• 유전자 발현 추론을 포함한 확장성 및 해석가능성 이점을 보여준다.

제안 방법

• 인코더로서 Concrete 선택자 층을 사용하여 Concrete 확률변수를 통해 k 입력 특징을 선택한다.
• soft에서 discrete 특성 선택으로 수렴하도록 시간을 두고 온도 매개변수 T를 어닐링하며 학습한다.
• 선택된 특징들로부터 전체 입력을 재구성하기 위해 표준(가능하면 깊은) 디코더를 사용한다.
• 확률적 특징 선택을 역전파하기 위해 재매개화(tran)sfer trick을 활용한다.
• 선형 또는 비선형 디코더와의 비교를 통해 재구성 성능을 평가한다.
• 재현성을 위해 구현 가이드와 공개 코드를 제공한다.]
• research_questions: [
• differentiable한 엔드투엔드 모델이 재구성 오류를 최소화하는 입력 특징의 하위집합을 식별할 수 있는가?
• Concrete 선택자 층의 온도 어닐링이 특징 선택의 질과 재구성 성능에 어떤 영향을 미치는가?
• 선택된 특징들이 데이터셋 간 및 재구성 아키텍처(선형 vs. 비선형 디코더)에서 일반화되는가?
• 방법이 고차원 데이터 및 대규모 샘플 크기(예: 유전자 발현)에 확장될 수 있는가?

실험 결과

연구 질문

• RQ1 differentiable한 엔드투엔드 모델이 재구성 오류를 최소화하는 입력 특징의 하위집합을 식별할 수 있는가?
• RQ2 Concrete 선택자 층의 온도 어닐링이 특징 선택의 질과 재구성 성능에 어떤 영향을 미치는가?
• RQ3 선택된 특징들이 데이터셋 간 및 재구성 아키텍처(선형 vs. 비선형 디코더)에서 일반화되는가?
• RQ4 방법이 고차원 데이터 및 대규모 샘플 크기(예: 유전자 발현)에 확장될 수 있는가?

주요 결과

• Concrete autoencoder는 재구성 작업에서 여러 데이터셋에서 다른 특징 선택 방법보다 일관되게 우수한 성능을 보였다.
• 비선형 디코더를 사용할 경우 재구성 오차가 더 낮고 분류 정확도가 더 높아지는 경향을 보였으며 ISOLET 및 다른 데이터셋에서 경쟁 방법들을 능가했다.
• 선형 디코더를 사용할 때도 대부분의 데이터셋에서 가장 낮은 재구성 오차를 유지했다.
• 대규모 유전자 발현 사례 연구에서 선형 디코더로 약 943개의 유전자를 선택하고 이를 약 750개로 감소시켰을 때도 기지 유전자 대비 보유해진 또는 개선된 추정 정확도를 보였다.
• 이 접근법은 MNIST의 국부화된 픽셀 그룹과 같은 관련 특징 그룹을 식별하고 해석 가능한 특징 클러스터를 생성한다.
• 코드와 실험 결과가 재현성을 위해 공개적으로 이용 가능하다.