[論文レビュー] Out-of-Sample Extrapolation with Neuron Editing

Matthew Amodio, David van Dijk+3 more|arXiv (Cornell University)|May 30, 2018

Cell Image Analysis Techniques参考文献 42被引用数 5

ひとこと要約

この論文では、自己符号化器の潜在空間におけるニューロン活性の編集を通じて一般化可能な治療効果を学習するニューロン編集という手法を紹介している。この手法により、画像データおよび単細胞生物学的データにおいて、訓練データの多様体を超えた正確な外挿が可能になる。生成的対抗ネットワーク（GAN）ベースのアプローチに比べ、真の分散を保持し、より忠実に複雑で文脈に依存する変換をモデル化できる。

ABSTRACT

While neural networks can be trained to map from one specific dataset to another, they usually do not learn a generalized transformation that can extrapolate accurately outside the space of training. For instance, a generative adversarial network (GAN) exclusively trained to transform images of black-haired men to blond-haired men might not have the same effect on images of black-haired women. This is because neural networks are good at generation within the manifold of the data that they are trained on. However, generating new samples outside of the manifold or extrapolating "out-of-sample" is a much harder problem that has been less well studied. To address this, we introduce a technique called neuron editing that learns how neurons encode an edit for a particular transformation in a latent space. We use an autoencoder to decompose the variation within the dataset into activations of different neurons and generate transformed data by defining an editing transformation on those neurons. By performing the transformation in a latent trained space, we encode fairly complex and non-linear transformations to the data with much simpler distribution shifts to the neuron's activations. We motivate our technique on an image domain and then move to our two main biological applications: removal of batch artifacts representing unwanted noise and modeling the effect of drug treatments to predict synergy between drugs.

研究の動機と目的

• ニューラルネットワークが訓練データの多様体を超えて治療効果を一般化する能力に限界があることに対処する。
• 治療後測定が一部のサンプルに限定される生物学的データにおいて、文脈依存の治療効果をモデル化する。
• 特定のデータ分布を記憶するのではなく、未観測データに適用可能な一般化可能な編集関数を学習する手法を開発する。
• 部分的な治療データから外挿することで、単細胞オミクスにおけるコンビナトリアルドラッグ効果を正確に予測することを可能にする。
• ノイズ除去された非線形潜在空間での編集が、アテンダント空間での生成モデルに比べ、より現実的で一般化可能な変換をもたらすことを示す。

提案手法

• 一部の集団からの治療前および治療後データに正則化された自己符号化器を訓練し、非線形多様体表現を学習する。
• ボトルネック層の各ニューロンについて、治療前と治療後の活性化分布の差を抽出する。
• 残りの集団の治療前データの潜在表現に、これらの学習済み活性化シフトを適用し、仮想の治療後データを生成する。
• デコーダーを用いて、編集済みの潜在表現を元のデータ空間に再構築し、変換されたサンプルを生成する。
• 自己符号化器のノイズ除去特性を活用し、ノイズではなく意味のある低次元特徴に編集を適用する。
• 潜在空間内でノードごとに編集を行い、抽象的特徴における単純な分布シフトを通じて、複雑な非線形変換を実現する。

実験結果

リサーチクエスチョン

• RQ1 訓練データの多様体を超えて一般化可能な治療効果の編集関数を学習できるか？
• RQ2 外挿において、ニューロン編集はGANベースの生成と比較して真のデータ分散をどれほど正確に保持するか？
• RQ3 ニューロン編集は、例えばドラッグシナジーのような単細胞オミクスデータにおける文脈依存の治療効果を正確にモデル化できるか？
• RQ4 ノイズ除去された非線形潜在空間での編集は、アテンダント空間での生成と比較して、生成データの現実性と正確性を向上させるか？
• RQ5 ニューロン編集は、不正な変化を引き起こさずに、高次元生物学的データにおける微小でターゲットされたシフトをどの程度正確にモデル化できるか？

主な発見

• 特に複雑で高次元の生物学的データにおいて、ニューロン編集はGANベースの手法よりも、すべての次元における平均の真の変化をより正確に予測する。
• ニューロン編集は真のデータ分散をよりよく保持するが、GANは一貫して実際の治療後サンプルよりも低い分散を持つデータを生成する。
• 画像データにおいて、ニューロン編集は、実際の変換を反映する意味のある文脈に依存する編集を生成する。一方、GANは訓練多様体を超えて一般化できず失敗する。
• コンビナトリアルドラッグ治療の予測において、ニューロン編集はp4EBP1（主要バイオマーカー）の水平シフトを正しくモデル化するが、pSTATSに不正な垂直変化を導入しない。
• 正則化された自己符号化器ベースラインは、内部活性化を変更しても、意味のある変換を生成できない。これは再構築ペナルティに起因する。
• GANで残差接続を使用しても、真のターゲット分布の2次元スライスでさえも再現できないため、正しく変換を学習していないことが示される。