[論文レビュー] Genetic Architect: Discovering Genomic Structure with Learned Neural Architectures

Laura Deming, Sasha Targ+3 more|arXiv (Cornell University)|May 23, 2016

RNA and protein synthesis mechanisms参考文献 16被引用数 12

ひとこと要約

この論文では、段階的なアーキテクチャコンポーネントの探索を繰り返すことで、遺伝子情報のための最適なディープラーニングアーキテクチャを自動で発見するニューラルアーキテクチャ探索フレームワーク「Genetic Architect」を紹介する。このフレームワークは、遺伝子発現予測において最先端のモデルを上回り、生物学的に解釈可能な配列モチーフを同定し、RNA-seqデータのみを用いて人間が読み取り可能な機能的ゲノム要素の可視化を学習する。

ABSTRACT

Each human genome is a 3 billion base pair set of encoding instructions. Decoding the genome using deep learning fundamentally differs from most tasks, as we do not know the full structure of the data and therefore cannot design architectures to suit it. As such, architectures that fit the structure of genomics should be learned not prescribed. Here, we develop a novel search algorithm, applicable across domains, that discovers an optimal architecture which simultaneously learns general genomic patterns and identifies the most important sequence motifs in predicting functional genomic outcomes. The architectures we find using this algorithm succeed at using only RNA expression data to predict gene regulatory structure, learn human-interpretable visualizations of key sequence motifs, and surpass state-of-the-art results on benchmark genomics challenges.

研究の動機と目的

• データ構造が十分に理解されていない遺伝学的応用において、効果的なディープラーニングアーキテクチャを設計する課題に対処すること。
• 人間が設計した事前知識に依存せず、最適なアーキテクチャを学習する探索フレームワークを開発すること。
• 遺伝子調節機能を予測するために重要な、高性能なモデルと解釈可能な配列モチーフを同定すること。
• RNA発現データのみを用いて、標準的な遺伝学的ベンチマークタスクで最先端の性能を上回ること。

提案手法

• フレームワークは、畳み込み層、残差ブロック、アテンション機構、RNN、全結合層を含む、標準的および高度なニューラルネットワークコンポーネントの反復的アーキテクチャ探索を実行する。
• ベイズ最適化に基づく探索戦略を用い、フィルタ数、カーネルサイズ、プーリングタイプ、正則化、ドロップアウト、活性化関数などのハイパーパrameterを探索する。
• 残差接続、アテンションモジュール、双方向RNN、グローバルプーリング戦略といったアーキテクチャ選択が検索空間に含まれる。
• プロモーター配列データを入力とし、発現レベルをターゲットとして、交差検証を用いて性能を評価する。
• アテンション重みと畳み込みフィルタのパターンを分析することで、解釈可能な可視化を生成し、重要な機能的モチーフを同定する。
• 意思決定木ベースの可視化ツールを用いて、上位性能を示すモデルにおける最も重要なハイパーパrameterおよびアーキテクチャ選択を特定する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化のアーキテクチャ事前知識に依存せずに、遺伝学的応用における最適なディープラーニングアーキテクチャを探索フレームワークが発見できるか？
• RQ2 プロモーター配列からの遺伝子発現予測において、高い性能を示すために予測に寄与する主なアーキテクチャコンポーネントとハイパーパrameterは何か？
• RQ3 発見されたモデルは、人間の専門家が解釈可能な生物学的意味を持つ配列モチーフを同定できるか？
• RQ4 手作業で設計されたモデルと比較して、自動で発見されたアーキテクチャの性能は標準的な遺伝学的ベンチマークでどの程度優れているか？
• RQ5 学習されたアーキテクチャにおけるアテンション機構と畳み込みフィルタは、非コーディングDNA内に存在する機能的調節要素をどの程度明らかにできるか？

主な発見

• Genetic Architectは、RNA-seqデータのみを入力として用いることで、遺伝子発現予測タスクで最先端の性能を上回るアーキテクチャを発見した。
• フレームワークは、アテンションと畳み込みフィルタの可視化を通じて、生物学的に関連性のある配列モチーフを効果的に同定し、機能的要素の解釈を人間が可能にした。
• プロモーター領域（TSSの±1 kb）を対象に学習したモデルは、11の免疫細胞系譜において、線維特異的遺伝子発現を高い精度で予測した。
• 最良の性能を示したアーキテクチャは、一貫して残差ブロック、アテンション機構、バッチ正則化とELU活性化関数を用いた3x1または5x1の畳み込み層を採用していた。
• 探索プロセスから、アテンション機構と残差接続がモデル性能と一般化性能を顕著に向上させていることが明らかになった。
• フレームワークの可視化ツールは、上位20％の性能を示すモデルにおいて、フィルタ数（64）、アテンションの使用、ドロップアウト率（0.2–0.3）といったハイパーパrameterが最も影響力が大きかったと特定した。