[논문 리뷰] A State Aggregation Approach for Solving Knapsack Problem with Deep Reinforcement Learning

Reza Refaei Afshar, Yingqian Zhang외 2명|TU/e Research Portal|2020. 04. 25.

Optimization and Search Problems참고 문헌 27인용 수 14

한 줄 요약

이 논문은 상태 집합 기반으로 상태 공간을 축소하고 학습 효율성을 향상시켜 0-1 Knapsack Problem에 대해 딥 강화학습(DRL) 접근법을 제안한다. 연속적인 아이템 특징(가치, 무게, 가치 대 무게 비율)을 표본 기반 강화학습을 통해 이산화함으로써 최적의 집합 정책을 도출하고, 이를 통해 압축된 상태 임bedding을 형성하여 효과적인 상태 공간 크기를 줄인다. 이를 통해 일반화 능력과 학습 효율성이 향상된다. 이 방법은 상태 집합 기반의 Advantage Actor-Critic(A2C) 정책 네트워크를 사용하여 아이템을 순차적으로 선택하며, 최대 500개의 아이템을 포함한 다양한 크기의 인스턴스에서 near-optimal 해를 달성한다. 이는 탐욕 휴리스틱과 상태 집합 없이 학습된 DRL보다 해의 질과 샘플 효율성 면에서 뛰어나다.

ABSTRACT

This paper proposes a Deep Reinforcement Learning (DRL) approach for solving knapsack problem. The proposed method consists of a state aggregation step based on tabular reinforcement learning to extract features and construct states. The state aggregation policy is applied to each problem instance of the knapsack problem, which is used with Advantage Actor Critic (A2C) algorithm to train a policy through which the items are sequentially selected at each time step. The method is a constructive solution approach and the process of selecting items is repeated until the final solution is obtained. The experiments show that our approach provides close to optimal solutions for all tested instances, outperforms the greedy algorithm, and is able to handle larger instances and more flexible than an existing DRL approach. In addition, the results demonstrate that the proposed model with the state aggregation strategy not only gives better solutions but also learns in less timesteps, than the one without state aggregation.

연구 동기 및 목표

• 기존 DRL 방법의 한계, 즉 상태 공간의 비가역적 증가와 다양한 인스턴스 크기 간의 일반화 능력 부족을 극복하기 위해.
• 딥 강화학습을 통해 탐욕 휴리스틱을 초월하는 적응형 선택 정책을 학습하기 위해.
• 한 번의 훈련으로 N개의 아이템을 포함한 인스턴스에 대해 일반화 가능한 DRL 프레임워크를 개발하기 위해.
• 해의 품질을 유지하면서도 특징 기반 상태 집합을 통해 상태 공간 크기를 줄여 학습 속도를 가속화하기 위해.

제안 방법

• 표본 기반 강화학습을 통해 연속적인 아이템 특징(가치, 무게, 가치 대 무게 비율)을 이산화하고 최적의 집합 정책을 도출하기 위해 상태 집합 전략을 적용한다.
• 집합된 특징은 압축된 상태 임bedding을 형성하여 효과적인 상태 공간 크기를 줄이며, 일반화 능력과 학습 효율성을 향상시킨다.
• 이점 액터-크리틱(A2C) 알고리즘을 사용하여 집합된 상태 기반으로 아이템을 순차적으로 선택하는 딥 네트워크 정책을 훈련한다.
• 정책 네트워크는 N개의 출력(각 아이템에 대해 하나)을 가지며, 행동은 탐욕적 또는 소프트맥스 디코딩을 통해 선택되어 캐리어 용량에 도달할 때까지 단계적으로 해를 구성한다.
• 이 방법은 한 번의 훈련을 통해 다양한 크기의 인스턴스에 대해 일반화 가능하며, 재학습 없이도 동일하거나 더 작은 크기의 새로운 인스턴스에 적용할 수 있다.
• 세 가지 유형의 인스턴스(랜덤, 고정 용량, 단계 전이 근처의 하드 인스턴스)를 대상으로 평가하였으며, 크기는 각각 50, 300, 500이다.

실험 결과

연구 질문

• RQ1 DRL에서 상태 집합이 Knapsack Problem의 상태 공간을 상당히 줄일 수 있는가, 동시에 해의 품질은 유지되는가?
• RQ2 제안된 DRL 방법이 상태 집합을 적용할 경우, 탐욕 휴리스틱과 기존 DRL 기준선 대비 해의 품질과 학습 속도 면에서 뛰어나게 되는가?
• RQ3 크기 N의 인스턴스에서 훈련된 단일 DRL 모델이 크기 N 이하의 모든 크기의 인스턴스를 해결하는 데 일반화 가능한가?
• RQ4 단계 전이 근처의 하드 인스턴스, 즉 해 공간은 크지만 최적 해가 희귀한 상황에서 상태 집합은 성능에 어떤 영향을 미치는가?
• RQ5 집합 정책을 도출하기 위해 표본 기반 RL을 사용할 경우, 하류 DRL 학습에서 더 나은 일반화 능력과 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• 제안된 DRL에 상태 집합을 적용한 방법은 테스트된 모든 인스턴스, 특히 500개의 아이템을 포함한 인스턴스에서도 near-optimal 해를 달성하며, 평균 해 값이 최적값과 소수 두 자리 이내로 수렴한다.
• 500개의 아이템을 포함한 하드 인스턴스(HI)에서, 상태 집합을 적용한 DRL 방법은 최적 해가 더 적게 나왔음에도 불구하고, 최고 가치 해를 133개 더 확보하였다.
• 상태 집합을 적용한 DRL 방법은 수렴에 약 10,000단계 적은 타임스텝을 소비하여 더 빠른 학습을 보였다.
• 300개 및 500개의 아이템을 포함한 인스턴스에서, 상태 집합을 적용한 DRL 방법은 해의 품질(평균 값)과 최고 가치 해의 수에서 상태 집합 없이 학습된 DRL보다 뛰어났다.
• 상태 집합은 해의 가능 공간이 크지만 최적 해가 희귀한 하드 인스턴스에서 가장 유익했으며, 가능 해가 적은 소형 용량 인스턴스에서는 효과가 덜 뚜렷했다.
• 이 방법은 잘 일반화된다: N개의 아이템에서 훈련된 모델은 크기 N 이하의 모든 인스턴스를 해결할 수 있으며, 이는 이전 DRL 접근법의 크기 특화 문제를 해결한다.