[논문 리뷰] TauRieL: Targeting Traveling Salesman Problem with a deep reinforcement learning inspired architecture

Gorker Alp Malazgirt, Osman Ünsal외 1명|arXiv (Cornell University)|2019. 05. 14.

Reinforcement Learning in Robotics참고 문헌 33인용 수 4

한 줄 요약

TauRieL는 TSP(최소비용순회문제)를 위한 딥강화학습 기반 솔버로, 학습 가능한 상태전이행렬을 사용하는 액터-크리틱 아키텍처를 채택하여 몇 초 내로 near-optimal한 TSP 순회 경로를 생성한다. 이는 기존 최고 수준의 오프라인 방법 대비 솔루션 생성 속도를 100배 빠르게 하며, 50개 도시 인스턴스에서 최대 6.1% 성능 저하를 보이지만, 온라인 학습과 검색을 통합하면서 전이행렬 내 제약 조건을 통해 타당성을 보장함으로써 달성된다.

ABSTRACT

In this paper, we propose TauRieL and target Traveling Salesman Problem (TSP) since it has broad applicability in theoretical and applied sciences. TauRieL utilizes an actor-critic inspired architecture that adopts ordinary feedforward nets to obtain a policy update vector $v$. Then, we use $v$ to improve the state transition matrix from which we generate the policy. Also, the state transition matrix allows the solver to initialize from precomputed solutions such as nearest neighbors. In an online learning setting, TauRieL unifies the training and the search where it can generate near-optimal results in seconds. The input to the neural nets in the actor-critic architecture are raw 2-D inputs, and the design idea behind this decision is to keep neural nets relatively smaller than the architectures with wide embeddings with the tradeoff of omitting any distributed representations of the embeddings. Consequently, TauRieL generates TSP solutions two orders of magnitude faster per TSP instance as compared to state-of-the-art offline techniques with a performance impact of 6.1\% in the worst case.

연구 동기 및 목표

• TSP를 위한 빠르고 온라인인 딥강화학습 솔버를 개발하여 장시간의 오프라인 사전학습을 피한다.
• 각 TSP 인스턴스에 대해 수렴 속도를 높이기 위해 학습과 검색을 하나의 온라인 프레임워크로 통합한다.
• 학습 가능한 상태전이행렬 내 전이 제약 조건을 통해 순회 경로 생성 중 타당성을 보장한다.
• 학습된 임bedding 대신 원시 2D 좌표를 사용함으로써 신경망 크기를 줄여 더 빠른 추론을 가능하게 한다.
• 기존의 딥러닝 기반 TSP 솔버들과 비교해도 경쟁 가능한 해의 품질을 확보하면서도, 인스턴스당 솔루션 생성 시간을 크게 단축한다.

제안 방법

• TauRieL는 액터-크리틱 딥강화학습 아키텍처를 사용하며, 액터는 정책 업데이트 벡터 $ v $를 생성하고, 크리틱은 예상 순회 길이를 추정한다.
• 상태전이행렬은 액터의 출력 벡터 $ v $를 사용하여 갱신되며, 이는 에이전트가 환경을 확률적으로 인식하는 방식을 반영하고, 도시 간 전이에 대한 정책 학습을 가능하게 한다.
• 최종 정책는 전이행렬에서의 결정론적 매핑으로 유도되며, 현재 상태 기반으로 다음에 방문할 도시를 선택한다.
• 전이행렬은 사전 계산된 휴리스틱(예: 가장 가까운 이웃)에서 초기화할 수 있어 수렴 속도를 가속화한다.
• 액터와 크리틱 네트워크는 각각 REINFORCE 알고리즘과 확률적 경사하강법을 사용하여 학습되며, 모델 크기를 최소화하기 위해 원시 2D 좌표를 입력으로 사용한다.
• 타당성은 전이행렬 내 불가능한 전이(예: 도시 재방문)를 0으로 설정함으로써 보장되며, 이는 타당한 순회 경로만 생성되도록 한다.

실험 결과

연구 질문

• RQ1 온라인 딥강화학습 프레임워크는 최고 수준의 오프라인 방법에 비해 상당히 더 빠른 TSP 솔루션 생성 시간을 달성할 수 있는가?
• RQ2 학습 가능한 전이행렬은 성능을 유지하면서 학습과 검색을 통합하는 데 얼마나 효과적인가?
• RQ3 성능 저하 없이 TSP 솔버에서 학습된 임베딩 대신 원시 2D 좌표를 얼마나 널리 사용할 수 있는가?
• RQ4 휴리스틱 초기화(예: 가장 가까운 이웃)를 DRL 프레임워크에 통합하면 수렴 속도가 향상되는가?
• RQ5 TSP 솔버에서 온라인 학습과 오프라인 사전학습 간의 성능 품질과 속도의 상호 교환 관계는 어떠한가?

주요 결과

• TauRieL는 최고 수준의 오프라인 딥러닝 방법에 비해 인스턴스당 TSP 솔루션 생성 속도를 두 배 정도 빠르게 한다.
• 50개 도시 TSP 인스턴스에서 TauRieL는 최적 해에 비해 최악의 경우 6.1% 성능 저하를 보인다.
• 솔루션은 몇 초 내로 near-optimal 결과를 도출하여 강력한 실시간 적용 가능성을 입증한다.
• 원시 2D 입력을 사용하고 넓은 임베딩을 피하기 때문에 TauRieL는 더 작은 신경망을 유지하여 더 빠른 추론을 가능하게 한다.
• 전이행렬의 통합은 휴리스틱 초기화(예: 가장 가까운 이웃)를 가능하게 하여 수렴 속도를 향상시킨다.
• 직접 전이행렬 갱신을 허용하는 액터-크리틱 아키텍처는 온라인 학습과 통합된 학습/검색를 가능하게 하여 사전학습 의존도를 감소시킨다.