[論文レビュー] Combinatorially Generated Piecewise Activation Functions

Justin Chen|arXiv (Cornell University)|May 17, 2016

Reinforcement Learning in Robotics参考文献 4被引用数 4

ひとこと要約

本論文は、NeuroEvolution of Augmenting Topologies (NEAT)における表現力の向上を図るため、組み合わせ的に生成された区分的活性化関数を導入する。ArcTanとSigmoid関数を組み合わせて区分的形にした手法により、元のNEATよりも非マルコフ型ダブルポールバランスタスクで高い成功確率を達成したが、評価回数はわずかに増加し、一般化性能にわずかなトレードオフが生じた。

ABSTRACT

In the neuroevolution literature, research has primarily focused on evolving the number of nodes, connections, and weights in artificial neural networks. Few attempts have been made to evolve activation functions. Research in evolving activation functions has mainly focused on evolving function parameters, and developing heterogeneous networks by selecting from a fixed pool of activation functions. This paper introduces a novel technique for evolving heterogeneous artificial neural networks through combinatorially generating piecewise activation functions to enhance expressive power. I demonstrate this technique on NeuroEvolution of Augmenting Topologies using ArcTan and Sigmoid, and show that it outperforms the original algorithm on non-Markovian double pole balancing. This technique expands the landscape of unconventional activation functions by demonstrating that they are competitive with canonical choices, and introduces a purview for further exploration of automatic model selection for artificial neural networks.

研究の動機と目的

• 神経進化における自動活性化関数選択の探求を目的とし、固定またはパラメータチューニングされた関数を超えること。
• 組み合わせ的合成によって多様で標準的でない活性化関数を生成することで、神経進化アルゴリズムの表現力を高めること。
• 組み合わせ的に生成された区分的活性化関数が、困難な強化学習タスクにおいて標準的な選択肢を上回ることを評価すること。
• Sigmoid や ArcTan といった標準的活性化関数と同等に、このような関数が効果的なニューラルネットワークアーキテクチャを進化させられることを示すこと。

提案手法

• ArcTan と Sigmoid の2つの基本関数を組み合わせて、3状態構造（静止状態、左側、活性状態）を持つ区分的関数を組み合わせ的に生成する。
• これらの合成関数を NEAT 内のノードレベルの活性化関数として適用し、進化によって非一様なネットワークトポロジーが出現するのを許容する。
• 標準的な NEAT の進化メカニズム（交叉、変異、種分化、適応度評価）を用いながら、遺伝子を拡張して区分的関数の合成を符号化する。
• 複数の実験ランで生成された関数のロバスト性を検証するため、一様なランダムノイズ仮説を採用する。
• 非マルコフ型ダブルポールバランスタスクで性能を評価し、成功確率、評価回数、一般化性能、ネットワークサイズを比較する。
• 失敗した実験を含む・含まないの両方の結果を分析し、進化した活性化関数の真の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的に生成された区分的活性化関数は、複雑な強化学習タスクにおける神経進化アルゴリズムの性能を向上させることができるか？
• RQ2 Sigmoid や ArcTan といった標準的選択肢と比較して、これらの自己生成された活性化関数は成功確率および一般化性能においてどのように異なるか？
• RQ3 不連続または滑らかでない区分的関数を用いる場合、滑らかで標準的な活性化関数と比較して、ニューラルネットワークの進化において競争力を持ち続けるか？
• RQ4 標準的な NEAT と比較して、この手法は計算コストやネットワーク複雑性をどの程度増加させるか？
• RQ5 このアプローチは他の神経進化アルゴリズムやアーキテクチャ設定へ一般化可能か？

主な発見

• 失敗した実験を除いた場合、組み合わせ的に生成された区分的活性化関数は非マルコフ型ダブルポールバランスタスクで 98.37% の成功確率を達成し、元の NEAT の 96.70% を上回った。
• 平均評価回数がやや高かった（36,453.87 vs. 28,924.58）ものの、平均ネットワークサイズ（6.26ノード）と一般化性能（266.87）は同等であった。
• NEAT が 14.4% の実験で失敗したにもかかわらず、本手法は成功確率において NEAT を上回ったことから、モデル選択能力の向上が示された。
• 不連続な区分的関数（SA2）は連続なバージョン（SA1 と SA3）よりもわずかに低い成功確率（81.53%）を示したが、依然として競争力のある性能を示した。
• 最も優れた設定（SA3）は、Sigmoid と ArcTan 関数を変更せず、組み合わせ的合成を用いたもので、パラメータチューニング済みのバージョンを上回った。
• 結果から、非標準的で組み合わせ的に生成された活性化関数が、特定のタスクにおいて標準的選択肢を上回る有効性を持つことが確認された。