[논문 리뷰] Cartesian Genetic Programming Approach for Designing Convolutional Neural Networks

Maciej Krzywda, Szymon Łukasik외 1명|arXiv (Cornell University)|2024. 09. 15.

Evolutionary Algorithms and Applications인용 수 2

한 줄 요약

이 논문은 고해상도 상태 및 행동 공간을 갖는 2차원 직사각형 스트립 패킹 문제를 해결하기 위해 UNet 기반 정책 네트워크와 Proximal Policy Optimization(PPO)를 사용한 1차원 강화학습(RL) 접근법을 제안한다. 높이 맵과 타당성 마스크를 통해 상태 및 행동 공간을 1차원으로 축소함으로써, MaxRects 히우리즘과 유사한 성능을 달성하고, 중간 보상이 있는 경우 랜덤 아이템 세트에서 이를 초월하는 성능을 보였다.

ABSTRACT

The present study covers an approach to neural architecture search (NAS) using Cartesian genetic programming (CGP) for the design and optimization of Convolutional Neural Networks (CNNs). In designing artificial neural networks, one crucial aspect of the innovative approach is suggesting a novel neural architecture. Currently used architectures have mostly been developed manually by human experts, which is a time-consuming and error-prone process. In this work, we use pure Genetic Programming Approach to design CNNs, which employs only one genetic operation, i.e., mutation. In the course of preliminary experiments, our methodology yields promising results.

연구 동기 및 목표

• 강화학습을 통한 2차원 직사각형 스트립 패킹 문제에서 고차원 상태 및 행동 공간의 과제를 해결한다.
• 훈련 안정성과 수렴성을 향상시키기 위해 상자 상태와 행동 공간의 1차원 축소 표현을 개발한다.
• 기존 히우리즘을 넘어서 비직사각형 패킹과 복잡한 제약 조건으로의 일반화를 가능하게 한다.
• 기본 보상과 중간 보상의 형태를 비교하여 RL 기반 패킹에서의 효과를 평가한다.
• 특정 시나리오에서 RL이 MaxRects 히우리즘과 동등하거나 그 이상의 성능을 달성할 수 있음을 입증한다.

제안 방법

• 상자 상태를 다섯 채널로 표현한다: 정규화된 높이 맵(채널 1), 0° 및 90° 회전에 대한 이진 타당성 마스크(채널 2–3), 현재 아이템에 대한 2차원 형태 임베딩(채널 4–5).
• 행동 공간을 2·w로 축소하여 X축 방향의 배치 확률만 모델링하고, 비회전 및 회전된 아이템에 대해 별도의 벡터를 사용한다.
• 공간 상관관계를 모델링하고 최적의 배치를 위한 세그멘테이션 유사 의사결정을 가능하게 하기 위해 1차원 UNet 아키텍처를 정책 네트워크로 사용한다.
• Proximal Policy Optimization(PPO)를 적용하여 두 가지 보상 함수를 사용해 RL 에이전트를 훈련한다: V1(최종 보상 전용) 및 V2(중간 보상 + 최종 보상)로 학습을 이끌어낸다.
• 보상 함수 V2를 설계하여 패킹 단계 중에 낭비된 영역을 방지하도록 처벌함으로써, 조기에 공간 효율성을 유도한다.
• 상자를 w=125개의 열과 h=150개의 행으로 이산화하지만, 에이전트의 결정을 1차원 X축 배치로 제한하여 차원의 저주를 완화한다.

실험 결과

연구 질문

• RQ1 2차원 상자 상태와 행동 공간의 1차원 표현이 RL 기반 접근법에서 차원을 줄이면서도 패킹 성능를 유지하는 데 효과적인가?
• RQ2 중간 보상 형태(V2)가 최종 보상 전용(V1)에 비해 RL 에이전트가 효율적인 패킹으로 이끄는 데 얼마나 효과적인가?
• RQ3 고해상도 상태 표현을 사용해 훈련된 RL 에이전트가 MaxRects 히우리즘의 성능을 따라하거나 초월할 수 있는 정도는 어느 정도인가?
• RQ4 시각 기반의 격자 기반 아키텍처를 고려할 때, 제안된 방법이 비직사각형 형태나 복잡한 제약 조건으로 일반화될 수 있는가?
• RQ5 보상 함수 설계가 다양한 아이템 세트에서 패킹 결과의 안정성과 분산에 미치는 영향은 무엇인가?

주요 결과

• 최종 보상 전용(V1) 모델은 고정 크기의 아이템 세트에서 MaxRects보다 약간 열등한 패킹 성능를 보였지만, 상자 가장자리 근처에서 전략적 계획 수립을 보였다.
• 중간 보상 버전(V2)은 랜덤 아이템 세트에서 MaxRects를 초월하는 성능를 보였으며, 이는 조기에 피드백을 제공함으로써 일반화와 효율성이 향상됨을 시사한다.
• V1과 V2 모두 MaxRects보다 결과의 분산이 낮아, 더 높은 안정성과 낮은 불확실성을 보였다.
• V2를 사용한 에이전트는 의도적으로 중심 영역의 빈 공간을 남기는 전략적 행동을 학습했으며, 향후 공간 분할을 방지하기 위한 전략적 사고를 보였다.
• 1차원 UNet-PPO 접근법은 차원의 저주를 효과적으로 완화하여 안정적인 훈련과 고해상도 패킹 결정을 가능하게 했다.
• 이 방법의 아키텍처는 비직사각형 패킹으로의 확장 및 히우리즘과의 통합이 가능하여, 스트립 패킹에 대한 확장 가능한 RL 프레임워크를 제공한다.