[論文レビュー] ImmuNeCS: Neural Committee Search by an Artificial Immune System

Luc Frachon, Wei Pang+1 more|arXiv (Cornell University)|Nov 18, 2019

Artificial Immune Systems Applications参考文献 54被引用数 7

ひとこと要約

ImmuNeCSは、人工免疫系を用いて多様なニューラルネットワークの集合を進化させる、新しいニューラルコミッティーサーチ手法を提案する。性能の向上を図るために、多様性と早期停止に注力することで、ランダムサーチと比較して顕著に低い探索コストでCIFAR-10およびFashion-MNISTで競争力ある精度を達成するとともに、より難しいタスクへの高い一般化性を示している。

ABSTRACT

Current Neural Architecture Search techniques can suffer from a few shortcomings, including high computational cost, excessive bias from the search space, conceptual complexity or uncertain empirical benefits over random search. In this paper, we present ImmuNeCS, an attempt at addressing these issues with a method that offers a simple, flexible, and efficient way of building deep learning models automatically, and we demonstrate its effectiveness in the context of convolutional neural networks. Instead of searching for the 1-best architecture for a given task, we focus on building a population of neural networks that are then ensembled into a neural network committee, an approach we dub 'Neural Committee Search'. To ensure sufficient performance from the committee, our search algorithm is based on an artificial immune system that balances individual performance with population diversity. This allows us to stop the search when accuracy starts to plateau, and to bridge the performance gap through ensembling. In order to justify our method, we first verify that the chosen search space exhibits the locality property. To further improve efficiency, we also combine partial evaluation, weight inheritance, and progressive search. First, experiments are run to verify the validity of these techniques. Then, preliminary experimental results on two popular computer vision benchmarks show that our method consistently outperforms random search and yields promising results within reasonable GPU budgets. An additional experiment also shows that ImmuNeCS's solutions transfer effectively to a more difficult task, where they achieve results comparable to a direct search on the new task. We believe these findings can open the way for new, accessible alternatives to traditional NAS.

研究の動機と目的

• 既存のニューラルアーキテクチャサーチ（NAS）手法の高い計算コスト、バイアス、複雑さに対処すること。
• 最適な1つのアーキテクチャを求めるのではなく、多様なニューラルネットワークの集合によるアンサンブルによってモデル性能を向上させること。
• 専門家でないユーザーにも利用可能なシンプルで柔軟かつ効率的なNAS手法を開発すること。
• 一般的なNASの仮定（局所性、部分評価と完全評価の相関、段階的成長）を実証的に検証すること。
• 学習済みアーキテクチャの複雑なタスクへの一般化性を評価すること。

提案手法

• ImmuNeCSは、ニューラルアーキテクチャサーチ中に個々のモデルの性能と集団の多様性のバランスを取るために、人工免疫系（AIS）を用いる。
• 探索プロセスではニューラルネットワークの集団を維持し、適応度（正答率）と多様性（冗長性を避けるために免疫系にインspiredされたメカニズム）の両方に基づいた選択が行われる。
• 効率性の向上とトレーニングコストの削減のため、部分評価、重み継承、段階的探索を用いる。
• 最終的なモデルは、最終集団から性能が高く多様性のある上位のネットワークのアンサンブル（コミッティー）であり、個々のモデルを上回る正答率を達成する。
• 正答率の変化が止まった時点で探索を早期に終了し、アンサンブルによって性能の回復を図る。
• 本手法はセルベースの探索空間に適用され、主要仮定の妥当性を検証するためのアブレーションスタディを通じて検証されている。

実験結果

リサーチクエスチョン

• RQ1 人工免疫系は、ニューラルアーキテクチャサーチにおいて性能と多様性を効果的にバランスさせることができるか？
• RQ2 早期停止とアンサンブルを組み合わせた手法は、従来のNASと比較して、効率性と正答率の両面で優れているか？
• RQ3 NASにおける一般的な仮定（局所性、部分評価と完全評価の相関、段階的成長）は実際の状況でも成り立つか？
• RQ4 より単純なタスクで学習されたモデルのコミッティーは、より複雑で分布が異なるタスクにうまく一般化できるか？
• RQ5 ランダムサーチや遺伝的アルゴリズムと比較して、ImmuNeCSの正答率と多様性はどのように異なるか？

主な発見

• CIFAR-10では、12個のモデルからなるコミッティーで94.41%のテスト正答率を達成し、ランダムサーチ（p=0.039）を顕著に上回り、アンサンブルによる正答率上昇が0.8%観察された。
• Fashion-MNISTでは、MNISTで学習したモデルを転移適用した結果、92.8%のテスト正答率を達成し、異なるデータ分布下でも強い一般化性を示した。
• CINIC-10ではCIFAR-10の集団を微調整した結果、88.72%の正答率を達成し、VGG-16を上回り、ResNet-18に近い性能を示した。
• 遺伝的アルゴリズムのベースラインと比較して、ImmuNeCSはより高いアンサンブル効果（0.8%pt 対 0.6%pt）を達成し、集団の多様性が優れていた。
• 本研究では、3つの主要なNAS仮定（局所性、部分評価と完全評価の相関、段階的成長）の妥当性が確認され、本手法の設計選択を裏付けるものとなった。
• 最終的なコミッティーモデルは、妥当なGPUリソース制約内で競争力ある性能を達成した。これにより、ImmuNeCSは従来のNASの実用的でアクセス可能な代替手法であることが裏付けられた。