[論文レビュー] Concrete Autoencoders for Differentiable Feature Selection and Reconstruction

Abubakar Abid, Muhammad Fatih Balin+1 more|arXiv (Cornell University)|Jan 27, 2019

Gene expression and cancer classification参考文献 24被引用数 76

ひとこと要約

微分可能な枠組み（ Concrete autoencoder ）を用いた教師なしのグローバル特徴選択を、Concreteセレクター層を使って実現し、縮小された特徴セットからの再構築を最適化します。大規模なL1000遺伝子発現ケーススタディを含む、再構築および補完性能の改善を実証します。

ABSTRACT

We introduce the concrete autoencoder, an end-to-end differentiable method for global feature selection, which efficiently identifies a subset of the most informative features and simultaneously learns a neural network to reconstruct the input data from the selected features. Our method is unsupervised, and is based on using a concrete selector layer as the encoder and using a standard neural network as the decoder. During the training phase, the temperature of the concrete selector layer is gradually decreased, which encourages a user-specified number of discrete features to be learned. During test time, the selected features can be used with the decoder network to reconstruct the remaining input features. We evaluate concrete autoencoders on a variety of datasets, where they significantly outperform state-of-the-art methods for feature selection and data reconstruction. In particular, on a large-scale gene expression dataset, the concrete autoencoder selects a small subset of genes whose expression levels can be use to impute the expression levels of the remaining genes. In doing so, it improves on the current widely-used expert-curated L1000 landmark genes, potentially reducing measurement costs by 20%. The concrete autoencoder can be implemented by adding just a few lines of code to a standard autoencoder.

研究の動機と目的

• 教師なし設定で情報量の高い特徴のサブセットを識別しつつ、全データの再構築を可能にする。
• 緩和された微分可能な層を介して離散的な特徴を選択する、エンドツーエンドの微分可能な手法を開発する。
• 多様なデータセットにわたり、ユーザー指定の特徴数を用いて最小限の再構築誤差を実現する。
• 遺伝子発現推定を含む、スケーラビリティと解釈性の利点を示す。

提案手法

• 入力特徴のkをConcrete乱数変数を介して選択するエンコーダとして、Concreteセレクター層を使用する。
• 時間とともにアニーリングする温度パラメータTを用いて訓練し、ソフトな特徴選択から離散的な特徴選択へ収束させる。
• 選択された特徴から全体の入力を再構築する、標準的な（潜在的に深い）デコーダを用いる。
• 確率的特徴選択を通じてのバックプロパゲーションを可能にするリパラメータ化トリックを活用する。
• 再構築性能を評価するため、線形または非線形デコーダとの比較を任意で行う。
• 再現性のための実装ガイドと公開コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンドツーエンドなモデルは、再構築誤差を最小化する入力特徴のサブセットを特定できるか？
• RQ2 Concreteセレクター層の温度をアニーリングすることは、特徴選択の品質と再構築性能にどう影響するか？
• RQ3 選択された特徴は、データセット間および再構築アーキテクチャ（線形 vs. 非線形デコーダ）を越えて一般化するか？
• RQ4 本手法は高次元データや大規模サンプルサイズ（例えば遺伝子発現）にスケール可能か？

主な発見

• Concreteオートエンコーダは、再構築タスクで複数のデータセットにおいて他の特徴選択法を一貫して上回った。
• 非線形デコーダを用いると、ISOLETおよび他のデータセットにおいて競合他社より再構築誤差が小さく、分類精度が高い。
• 線形デコーダを使用しても、ほとんどのデータセットで最も低い再構築誤差を示す。
• 大規模な遺伝子発現ケーススタディでは、線形デコーダで約943遺伝子を選択すると約750遺伝子に削減され、ランドマーク遺伝子と比較して同等または改善した補完精度を維持した。
• このアプローチは関連する特徴群を特定し（例：MNISTの局所的なピクセル群）、解釈可能な特徴クラスタを生み出す。
• コードと実験は再現性のために公開されている。