[論文レビュー] IRLAS: Inverse Reinforcement Learning for Architecture Search

Minghao Guo, Zhao Zhong+3 more|arXiv (Cornell University)|Dec 13, 2018

Machine Learning in Materials Science参考文献 36被引用数 8

ひとこと要約

IRLAS は、エキスパートが設計したネットワーク（例：ResNet）からミラー刺激関数を学習する逆強化学習手法を提案し、トポロジーが単純で効率的なアーキテクチャへの神経ネットワークアーキテクチャ探索をガイドする。この関数を強化学習を用いてヒューリスティックとして訓練することで、エージェントは探索空間を効果的に探索しつつも、人間が考案したトポロジーを好むようになり、CIFAR-10 および ImageNet モバイル設定において、顕著に低い推論遅延で最先端の精度を達成する。

ABSTRACT

In this paper, we propose an inverse reinforcement learning method for architecture search (IRLAS), which trains an agent to learn to search network structures that are topologically inspired by human-designed network. Most existing architecture search approaches totally neglect the topological characteristics of architectures, which results in complicated architecture with a high inference latency. Motivated by the fact that human-designed networks are elegant in topology with a fast inference speed, we propose a mirror stimuli function inspired by biological cognition theory to extract the abstract topological knowledge of an expert human-design network (ResNeXt). To avoid raising a too strong prior over the search space, we introduce inverse reinforcement learning to train the mirror stimuli function and exploit it as a heuristic guidance for architecture search, easily generalized to different architecture search algorithms. On CIFAR-10, the best architecture searched by our proposed IRLAS achieves 2.60% error rate. For ImageNet mobile setting, our model achieves a state-of-the-art top-1 accuracy 75.28%, while being 2~4x faster than most auto-generated architectures. A fast version of this model achieves 10% faster than MobileNetV2, while maintaining a higher accuracy.

研究の動機と目的

• 既存のアーキテクチャ探索手法が過度に複雑で遅いアーキテクチャを生成するという限界に対処するため、エキスパート設計ネットワークからトポロジー知識を統合すること。
• エキスパートをそのまま複製しない非制限的で汎用的なヒューリスティックを開発し、トポロジカルに洗練され、効率的なアーキテクチャへの探索をガイドすること。
• 生物学的認知原理に基づくミラー刺激関数を逆強化学習で訓練することで、探索の効率性と正確性を向上させること。
• 探索戦略や探索空間の設計を変更せずに、異なる探索アルゴリズムや探索空間へ汎用化すること。

提案手法

• ResNet などのエキスパートネットワークから、アーキテクチャコンポONENTの状態特徴コードを用いて、抽象的なトポロジー表現を抽出するミラー刺激関数を設計する。
• 逆強化学習を用いて、ミラー刺激関数を訓練し、エキスパートネットワークと同様のトポロジーを持つアーキテクチャを促進する報酬信号を学習する。
• 訓練されたミラー刺激関数は、探索中にヒューリスティック報酬として機能し、探索を制約しすぎず、単純で効率的な構造へと導く。
• 本手法は探索戦略や探索空間設計と直交しており、BlockQNN や DARTS などの既存のアルゴリズムへの容易な統合を可能にする。
• トポロジカル類似度は、構造的変更に対する特徴レベルの感度によって測定され、微小なアーキテクチャ変更に対しても意味のある応答を保証する。
• ハイパーパrameter λ はトポロジカル事前知識の強度を制御する。λ = 30 は、精度と速度のバランスを取るために選択された。

実験結果

リサーチクエスチョン

• RQ1 逆強化学習は、エキスパート設計ネットワークからトポロジカル知識を効果的に抽出し、アーキテクチャ探索をガイドできるか？
• RQ2 トポロジカルガイダンスを組み込むことで、自動生成アーキテクチャの複雑さと推論効率はどのように変化するか？
• RQ3 ミラー刺激関数は、異なるアーキテクチャ探索アルゴリズムや探索空間にどの程度一般化可能か？
• RQ4 トポロジカル事前知識を適用する際の、精度と推論速度の最適なトレードオフは何か？

主な発見

• CIFAR-10 では、IRLAS は 2.60% の誤差率を達成し、最先端の人間設計および自動生成モデルと同等の競争力のある精度を示した。
• ImageNet モバイルでは、IRLAS は 75.28% のトップ-1精度を達成し、最も自動生成アーキテクチャよりも 2–4倍速くなった。
• IRLAS の高速版は、MobileNetV2 よりも 10% 速く、より高い精度を維持しており、効率性の向上が顕著に示された。
• ミラー刺激関数は探索収束速度を向上させ、BlockQNN および DARTS を用いた両方の実験で、より速い収束が観察された。
• λ = 30 の場合、精度と速度の最良のバランスが達成されたが、λ = 60 では過度なトポロジカル制約により精度が低下した。
• ミラー刺激関数を用いて探索されたアーキテクチャは、それを使わない場合と比べ、顕著に単純で、ResNet に類似したトポロジーを示しており、明確な残差ショートカットと、冗長な接続の少ない構造が特徴であった。