[논문 리뷰] Deep Q-Learning for Directed Acyclic Graph Generation

Laura D'Arcy, Padraig Corcoran외 1명|arXiv (Cornell University)|2019. 06. 05.

Advanced Graph Neural Networks참고 문헌 8인용 수 6

한 줄 요약

이 논문은 그래프 컨volution 네트워크를 사용해 Q-값을 근사화함으로써, 지정된 구조와 노드 유형을 가진 방향성 비순환 그래프(DAG)를 생성하기 위한 딥 Q-러닝 접근법을 제안한다. 이 방법은 노드 및 간선 추가를 단일 행동으로 간주함으로써 희소 보상 환경에서 효율적인 DAG 생성을 가능하게 하며, 상태 공간과 행동 공간의 지수적 증가에도 불구하고 작은 DAG에서 높은 성공률을 달성한다.

ABSTRACT

We present a method to generate directed acyclic graphs (DAGs) using deep reinforcement learning, specifically deep Q-learning. Generating graphs with specified structures is an important and challenging task in various application fields, however most current graph generation methods produce graphs with undirected edges. We demonstrate that this method is capable of generating DAGs with topology and node types satisfying specified criteria in highly sparse reward environments.

연구 동기 및 목표

• 학습 데이터가 필요 없는 강화 학습 방법을 개발하여 방향성 비순환 그래프(DAG)를 생성하는 것.
• 함수 근사와 함께 딥 Q-러닝을 사용하여 DAG 생성에서 희소 보상 문제를 해결하는 것.
• 단일 행동 메커니즘을 통해 다수의 노드 유형과 연속적 특징을 가진 확장 가능한 DAG 생성을 가능하게 하는 것.
• 표 형태의 Q-러닝의 한계를 극복하기 위해 큰 상태 공간과 행동 공간을 처리할 수 있도록 딥 네트워크를 사용하는 것.
• 노드 및 간선 추가의 대칭성을 고려한 배치 행동 선택을 통해 학습 효율성을 향상시키는 것.

제안 방법

• DAG 생성 과정을 상태가 인접 행렬과 원-핫 인코딩된 노드 특징로 정의된 마르코프 결정 과정으로 모델링한다.
• 행동는 지정된 유형의 새로운 노드를 추가하고 동시에 들어오는 간선 집합을 추가하는 것으로 구성되며, 이는 정수로 변환된 이진 벡터로 행동 공간의 인덱스화에 사용된다.
• 그래프 컨volution 네트워크(GCN)가 상태를 처리하여 Q-값 추정치를 산출하며, 간선 방향성을 표현하기 위해 인접 행렬의 전치를 사용한다.
• 경험 재현과 타겟 네트워크를 사용한 딥 Q-러닝을 통해 학습을 안정화시키며, 샘플 효율성을 향상시키기 위해 우선순위 경험 재현을 적용한다.
• 행동 공간은 $ b \times (2^{n-1} - 1) $로 정의되며, 여기서 $ b $는 노드 유형 수이고 $ n $은 노드 수이며, 고립된 노드를 방지하기 위해 빈 간선 집합을 제외한다.
• 탐색은 전체 행동 공간에 대해 $ \epsilon $-그리디 선택을 통해 수행되며, 행동들은 이진 인코딩된 간선 집합에서 샘플링된다.

실험 결과

연구 질문

• RQ1 딥 Q-러닝은 데이터 없이 특정 구조와 노드 유형을 가진 DAG를 강화 학습 환경에서 생성할 수 있는가?
• RQ2 단지 소수의 종료 상태에서만 비영인 보상을 제공하는 희소 보상 환경에서 딥 Q-러닝은 얼마나 효과적인가?
• RQ3 노드 및 간선 추가를 단일 행동으로 취급하는 것이 순차적 노드/간선 추가보다 학습 효율성을 향상시키는가?
• RQ4 우선순위 경험 재현은 DAG 생성에서 학습 수렴을 얼마나 향상시키는가?
• RQ5 DAG 크기와 노드 유형 수가 증가함에 따라 이 방법은 얼마나 스케일업되는가?

주요 결과

• 우선순위 경험 재현을 사용한 DQN(DQN+PER)은 1개의 노드 유형을 가진 4노드 DAG에서 평균 총 보상 9,902를 기록했으며, 무작위 행동 선택(882)에 비해 뚜렷한 승리였다.
• 3개의 노드 유형을 가진 6노드 DAG에서는 DQN+PER가 평균 보상 5,169를 기록했고, 무작위 에이전트의 경우 6에 그쳤으며, 이는 매우 희소한 환경에서도 학습이 가능하다는 것을 보여준다.
• DQN+PER를 사용한 4노드 DAG(1개의 노드 유형)에서 성공률은 95% 이상을 달성했으며, 상태 공간과 행동 공간의 지수적 증가에도 불구하고 효과적인 학습이 이루어졌음을 시사한다.
• 이진 행동 선택(동시에 여러 간선 추가)은 순차적 간선 추가보다 더 빠른 수렴을 이끌었으며, 간선 순서의 비대칭성을 제거했기 때문이다.
• 그리디 정책의 평균 성공률은 10,000 에피소드 동안 점진적으로 증가했으며, DQN+PER는 모든 테스트 설정에서 표준 DQN보다 뛰어난 성능을 보였다.
• 3개의 노드 유형을 가진 5노드 DAG에서는 가능한 종료 상태 중 25,515개 중 단지 3개만이 목표 상태와 이sovolumetric였지만, 에이전트는 이들을 높은 빈도로 도달하는 데 성공했다.