[論文レビュー] SEGEN: SAMPLE-ENSEMBLE GENETIC EVOLUTIONARY NETWORK MODEL

Jiawei Zhang, Limeng Cui+1 more|arXiv (Cornell University)|Sep 27, 2018

Machine Learning and Data Classification参考文献 26被引用数 7

ひとこと要約

SEGENは、遺伝的・進化的最適化を用いて世代をまたいで浅く多様なユニットモデルを構築するサンプル・アンサンブル遺伝的進化ネットワークモデルを提案する。出力は拡散的伝播とアンサンブル学習により統合される。深層学習モデルと比較して、顕著に低いデータ量・計算リソース・チューニングコストで競争力のある性能を達成するとともに、高い解釈可能性を提供する。

ABSTRACT

Deep learning, a rebranding of deep neural network research works, has achieved a remarkable success in recent years. With multiple hidden layers, deep learning models aim at computing the hierarchical feature representations of the observational data. Meanwhile, due to its severe disadvantages in data consumption, computational resources, parameter tuning costs and the lack of result explainability, deep learning has also suffered from lots of criticism. In this paper, we will introduce a new representation learning model, namely Sample-Ensemble Genetic Evolutionary Network (SEGEN), which can serve as an alternative approach to deep learning models. Instead of building one single deep model, based on a set of sampled sub-instances, SEGEN adopts a genetic-evolutionary learning strategy to build a group of unit models generations by generations. The unit models incorporated in SEGEN can be either traditional machine learning models or the recent deep learning models with a much narrower and shallower architecture. The learning results of each instance at the final generation will be effectively combined from each unit model via diffusive propagation and ensemble learning strategies. From the computational perspective, SEGEN requires far less data, fewer computational resources and parameter tuning efforts, but has sound theoretic interpretability of the learning process and results. Extensive experiments have been done on several different real-world benchmark datasets, and the experimental results obtained by SEGEN have demonstrated its advantages over the state-of-the-art representation learning models.

研究の動機と目的

• 深層学習モデルの高いデータ量・計算リソース・チューニング要件を緩和すること。
• 性能を損なわずに表現学習の解釈可能性を向上させること。
• 浅く多様なモデルの進化的最適化を用いて、深層学習のスケーラブルな代替手段を構築すること。
• 世代間でのインスタンスレベルの予測を拡散的伝播で伝播させることで、効果的なアンサンブル学習を実現すること。
• 実世界のベンチマークデータセットにおいて、最先端モデルと比較して優れた効率性と性能を示すこと。

提案手法

• SEGENは、サブインスタンスをサンプリングしてユニットモデルの集団を構築し、遺伝的・進化的戦略を用いて世代をまたいで最適化する。
• ユニットモデルは、従来の機械学習モデルまたは限定的で浅い深層学習アーキテクチャから選択される。
• 各世代は適応度評価に基づいて進化し、モデル構成に対して選択・交差・変異の操作が適用される。
• 最終的な予測は、拡散的伝播を用いて集約され、ユニットモデルの出力をアンサンブル全体に広げて耐性を高める。
• アンサンブル学習により、すべてのユニットモデルの出力を統合して最終予測を生成し、一般化性能を向上させる。
• モデルの進化と特徴量の寄与度を世代にわたって追跡することで、解釈可能性を重視する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的・進化的フレームワークは、深層学習の性能に匹敵する多様な浅いモデルを効果的に最適化できるか？
• RQ2 SEGENは、標準的な深層学習モデルと比較して、どの程度データ量と計算リソースの要件を低減できるか？
• RQ3 拡散的伝播とアンサンブル学習の組み合わせは、予測精度と安定性をどのように向上させるか？
• RQ4 SEGENは、競争力のある表現学習結果を達成しつつ、強力な解釈可能性を維持できるか？
• RQ5 SEGENは、多様な実世界のベンチマークデータセットにおいて、最先端モデルと比較してどの程度の性能を示すか？

主な発見

• SEGENは、複数の実世界ベンチマークデータセットで競争力のある性能を達成し、最先端の表現学習モデルを上回る。
• 深層学習モデルと比較して、顕著に少ないデータ量と計算リソースで運用可能である。
• 軽量モデルの進化的最適化のおかげで、パラメータチューニングの作業が大幅に削減される。
• 学習プロセスと結果は理論的に強く解釈可能であり、モデル行動のトレーサビリティが可能である。
• 拡散的伝播とアンサンブル学習戦略は、効果的に予測を統合し、耐性と精度を向上させる。
• 進化的フレームワークは、世代をまたいで多様で高性能なユニットモデルを効果的に進化させる。