[논문 리뷰] Combinatorially Generated Piecewise Activation Functions

Justin Chen|arXiv (Cornell University)|2016. 05. 17.

Reinforcement Learning in Robotics참고 문헌 4인용 수 4

한 줄 요약

이 논문은 신경진화학습(NeuroEvolution)을 위한 조합적으로 생성된 조각별 활성화 함수를 소개하며, 신경증식구조의 진화(NEAT)에서 표현력을 향상시킨다. ArcTan과 Sigmoid 함수를 조합하여 조각별 형태로 만듦으로써, 원래의 NEAT보다 비마르코프(non-Markovian) 이중 펄스 균형제어 작업에서 더 높은 성공률을 달성했으며, 평균 평가 수와 약간의 일반화 능력 향상의 상실을 감수한다.

ABSTRACT

In the neuroevolution literature, research has primarily focused on evolving the number of nodes, connections, and weights in artificial neural networks. Few attempts have been made to evolve activation functions. Research in evolving activation functions has mainly focused on evolving function parameters, and developing heterogeneous networks by selecting from a fixed pool of activation functions. This paper introduces a novel technique for evolving heterogeneous artificial neural networks through combinatorially generating piecewise activation functions to enhance expressive power. I demonstrate this technique on NeuroEvolution of Augmenting Topologies using ArcTan and Sigmoid, and show that it outperforms the original algorithm on non-Markovian double pole balancing. This technique expands the landscape of unconventional activation functions by demonstrating that they are competitive with canonical choices, and introduces a purview for further exploration of automatic model selection for artificial neural networks.

연구 동기 및 목표

• 신경진화학습에서 고정되거나 파rameter 조정된 함수를 넘어서 자동 활성화 함수 선택을 탐색한다.
• 조합적 조합을 통해 다양한 비표준 활성화 함수를 생성함으로써 신경진화 알고리즘의 표현력을 향상시킨다.
• 조합적으로 생성된 조각별 활성화 함수가 어려운 강화학습 과제에서 표준 선택 사례를 능가할 수 있는지 평가한다.
• 자신들만의 활성화 함수가 Sigmoid와 ArcTan과 같은 표준 활성화 함수와 경쟁 가능하다는 것을 입증한다.

제안 방법

• ArcTan과 Sigmoid라는 두 가지 기본 함수를 조합하여 세 상태 구조(정지 상태, 왼쪽 측면, 활성 상태)로 구성된 조각별 활성화 함수를 조합적으로 생성한다.
• 이 복합 함수를 NEAT 내의 노드 수준 활성화 함수로 적용하여 진화 과정을 통해 이질적인 네트워크 구조가 유도되도록 한다.
• NEAT의 표준 진화 메커니즘(교차, 돌연변이, 종 분화, 적합도 평가)을 사용하면서도, 조각별 함수 조합을 표현하기 위해 게놈을 확장한다.
• 다양한 실험 런에 걸쳐 생성된 함수의 강건성을 검증하기 위해 균일한 랜덤 노이즈 가설을 적용한다.
• 비마르코프 이중 펄스 균형제어 과제에서 성능을 평가하며, 성공률, 평가 수, 일반화 능력, 네트워크 크기 등을 비교한다.
• 실패한 실험을 포함하거나 제외한 결과를 분석하여 진화된 활성화 함수의 진정된 성능를 평가한다.

실험 결과

연구 질문

• RQ1 조합적으로 생성된 조각별 활성화 함수는 복잡한 강화학습 과제에서 신경진화 알고리즘의 성능을 향상시킬 수 있는가?
• RQ2 이러한 자가 생성된 활성화 함수는 Sigmoid와 ArcTan과 같은 표준 선택 사례와 비교해 성공률과 일반화 능력 측면에서 어떻게 다른가?
• RQ3 불연속적이거나 비연속적인 조각별 함수를 사용할 경우, 연속적인 표준 활성화 함수와의 경쟁에서 여전히 경쟁력이 있는가?
• RQ4 기존의 NEAT에 비해 이 방법은 계산 비용이나 네트워크 복잡도를 얼마나 증가시키는가?
• RQ5 이 방법은 다른 신경진화 알고리즘이나 아키텍처 구성으로 일반화될 수 있는가?

주요 결과

• 실패한 실험을 제외한 결과, 조합적으로 생성된 조각별 활성화 함수는 비마르코프 이중 펄스 균형제어 과제에서 98.37%의 성공률을 기록하여 원래의 NEAT(96.70%)를 초월했다.
• 평균 평가 수가 다소 높은 편(36,453.87 대비 28,924.58)이지만, 평균 네트워크 크기(6.26개 노드)와 일반화 능력(266.87)은 유사하게 유지되었다.
• NEAT가 실험의 14.4%에서 실패했음에도 불구하고, 본 방법은 성공률 측면에서 NEAT를 능가했으며, 이는 더 나은 모델 선택 능력을 의미한다.
• 불연속적인 조각별 함수(SA2)는 연속적인 변형(SA1 및 SA3)보다 略적으로 낮은 성공률(81.53%)을 보였지만, 여전히 경쟁 가능한 성능를 보였다.
• 가장 뛰어난 성능를 보인 구성(SA3)은 Sigmoid와 ArcTan 함수를 수정 없이 조합하여 사용했으며, 파arameter 조정된 변형보다 뛰어난 성능를 기록했다.
• 결과적으로, 비표준이지만 조합적으로 생성된 활성화 함수는 유망할 뿐 아니라 특정 과제에서는 표준 선택 사례를 능가할 수 있음을 확인했다.