[논문 리뷰] Approximate Dynamic Programming with Neural Networks in Linear Discrete Action Spaces

Wouter van Heeswijk, Han La Poutré|arXiv (Cornell University)|2019. 02. 26.

Adaptive Dynamic Programming Control참고 문헌 15인용 수 5

한 줄 요약

이 논문은 고차원적이고 조합적임에도 불구하고 큰 이산 행동 공간을 가진 운영 연구 문제를 해결하기 위해 신경망 기반 가치 함수 근사(NN-VFAs)를 선형 프로그래밍에 통합하는 하이브리드 근사 동적 프로그래밍 방법을 제안한다. 선형 프로그래밍 프레임워크 내부에 비선형 신경망을 통합함으로써 수동적 특징 공학의 필요성을 줄이고, 기존의 다항식 기반 VFA보다 크게 뛰어난 성능을 달성한다. 다층 네트워크를 사용한 결과, 평균 정책 성능이 19.6% 향상되었으며, 안정성 또한 유지되었다.

ABSTRACT

Real-world problems of operations research are typically high-dimensional and combinatorial. Linear programs are generally used to formulate and efficiently solve these large decision problems. However, in multi-period decision problems, we must often compute expected downstream values corresponding to current decisions. When applying stochastic methods to approximate these values, linear programs become restrictive for designing value function approximations (VFAs). In particular, the manual design of a polynomial VFA is challenging. This paper presents an integrated approach for complex optimization problems, focusing on applications in the domain of operations research. It develops a hybrid solution method that combines linear programming and neural networks as part of approximate dynamic programming. Our proposed solution method embeds neural network VFAs into linear decision problems, combining the nonlinear expressive power of neural networks with the efficiency of solving linear programs. As a proof of concept, we perform numerical experiments on a transportation problem. The neural network VFAs consistently outperform polynomial VFAs, with limited design and tuning effort.

연구 동기 및 목표

• 운영 연구에서 흔히 발생하는 큰 이산 행동 공간에서 효과적인 가치 함수 근사(VFA)를 설계하는 데 도전한다.
• 고차원 상호작용이 복잡한 경우 다항식 특징을 수동으로 설계하는 데 소요되는 노력과 실수의 위험을 줄인다.
• 선형 프로그래밍의 효율성과 신경망의 비선형 표현 능력을 결합한 하이브리드 방법을 개발한다.
• 실제 운송 문제에서 다양한 신경망 아키텍처의 성능과 계산 비용 간의 상호 교환 관계를 평가한다.
• NN-VFA가 전통적인 다항식 기반 VFA보다 정책 품질과 안정성 측면에서 뚜렷이 뛰어나다는 것을 입증한다.

제안 방법

• 선형 프로그래밍의 목적 함수에 직접 신경망 기반 가치 함수 근사(NN-VFAs)를 통합하여 선형 구조를 유지함으로써 효율적인 해법을 보장한다.
• 선형 프로그래밍 형식과의 호환성을 확보하기 위해 조각별 선형 활성화 함수(예: ReLU)를 사용한다.
• 이중 단계 접근법을 적용한다: 첫 번째로, 하류 가치 함수를 근사하기 위해 신경망을 훈련한다; 두 번째로, 훈련된 네트워크를 선형 프로그래밍의 비선형 목적 항목으로 사용한다.
• 역사적 또는 시뮬레이션 데이터 기반으로 표준 딥러닝 기법(예: 확률적 경사 하강법, 배치 정규화)을 사용해 NN-VFAs를 훈련한다.
• 성능와 계산 비용을 평가하기 위해 다양한 아키텍처(예: 1층 대비 3층 네트워크, 다양한 뉴런 수)를 비교한다.
• 다양한 VFA 유형 간의 정책 성능 및 계산 시간을 정규화하여 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 운영 연구의 동적 의사결정 문제에 대해 신경망 기반 가치 함수 근사(NN-VFAs)를 선형 프로그래밍에 효과적으로 통합할 수 있는가?
• RQ2 정책 품질과 안정성 측면에서 NN-VFAs는 전통적인 다항식 기반 VFA보다 어떻게 비교되는가?
• RQ3 하이브리드 LP-NVFA 프레임워크에서 더 깊거나 넓은 신경망을 사용할 경우 성능 향상와 계산 비용 간의 상호 교환 관계는 어떠한가?
• RQ4 복잡한 고차원 행동 공간에서 다항식 VFA 대비 NN-VFA는 수동적 특징 공학의 필요성을 얼마나 줄이는가?
• RQ5 학습률, 훈련 반복 횟수, 네트워크 깊이 등의 다양한 초모수 설정에서 NN-VFA의 성능 향상 효과는 얼마나 견고한가?

주요 결과

• NN(3,20)-VFA는 다항식 VFA(PL-VFA) 대비 평균 정책 성능이 19.6% 높았으며, 정규화된 평균 성능은 1.196였다.
• NN(1,20)-VFA는 평균 정책 성능에서 PL-VFA 대비 10.1% 높았지만, 표준편차가 더 높아(1.65%) 변동성이 더 컸다.
• NN(3,20)-VFA는 시간이 지남에 따라 더 높은 안정성을 보였으며, 표준편차가 0.72%로 NN(1,20)-VFA(1.65%)보다 낮았다.
• 반복당 계산 시간은 네트워크 복잡도 증가에 따라 증가했다: PL-VFA는 0.02초, NN(1,20)-VFA는 0.16초, NN(3,20)-VFA는 0.39초였다.
• 여러 훈련 런과 평가 지표를 통해 NN(3,20)-VFA는 PL-VFA와 얕은 NN(1,20)-VFA를 모두 일관되게 뛰어넘었다.
• 하이브리드 방법은 신경망이 원시 특징에서 복잡한 고차원 상호작용을 자동으로 학습함으로써 수동적 특징 공학의 필요성을 크게 줄였다.