[논문 리뷰] DyFEn: Agent-Based Fee Setting in Payment Channel Networks

Kiana Asgari, Aida Afshar Mohammadian외 1명|arXiv (Cornell University)|2022. 10. 15.

Blockchain Technology Applications and Security인용 수 9

한 줄 요약

이 논문은 비트코인 라이트닝 네트워크에서 동적 수수료 설정을 시뮬레이션하기 위한 오픈소스 강화학습 환경인 DyFEn을 소개한다. 수수료 최적화를 마르코프 결정 과정으로 모델링하고, PPO와 같은 DRL 에이전트를 훈련시켜 히ュ리스틱 전략 대비 최대 10배 높은 수익을 달성함으로써, 실세계 블록체인 수수료 최적화에 대한 RL의 가능성을 입증한다.

ABSTRACT

In recent years, with the development of easy to use learning environments, implementing and reproducible benchmarking of reinforcement learning algorithms has been largely accelerated by utilizing these frameworks. In this article, we introduce the Dynamic Fee learning Environment (DyFEn), an open-source real-world financial network model. It can provide a testbed for evaluating different reinforcement learning techniques. To illustrate the promise of DyFEn, we present a challenging problem which is a simultaneous multi-channel dynamic fee setting for off-chain payment channels. This problem is well-known in the Bitcoin Lightning Network and has no effective solutions. Specifically, we report the empirical results of several commonly used deep reinforcement learning methods on this dynamic fee setting task as a baseline for further experiments. To the best of our knowledge, this work proposes the first virtual learning environment based on a simulation of blockchain and distributed ledger technologies, unlike many others which are based on physics simulations or game platforms.

연구 동기 및 목표

• 지급 채널 네트워크에서 강화학습을 훈련하고 평가하기 위한 현실적이고 오픈소스 기반의 기준이 부족한 문제를 해결하기 위해.
• 라이트닝 네트워크에서의 동적 수수료 설정을 최적의 수익 극대화를 위해 마르코프 결정 과정으로 모델링하기 위해.
• 모의된 실세계 유사 환경에서 기존의 히ュ리스틱 수수료 전략과 비교해 딥 강화학습 알고리즘의 성능을 평가하기 위해.
• DRL이 정적 및 히ュ리스틱 수수료 정책에 비해 수익성과 초깃금액 변동에 대한 강건성 측면에서 뛰어나다는 것을 입증하기 위해.
• 향후 레이어-2 블록체인 프로토콜 연구를 위한 확장 가능하고 스케일러블한 테스트베드(DyFEn)를 제공하기 위해.

제안 방법

• DyFEn은 오프체인 지급 채널 네트워크를 위한 고성능 시뮬레이터인 LEViN 기반으로 구축되어, LN 토폴로지와 트랜잭션 라우팅을 정확하게 모델링할 수 있다.
• 수수료 설정 문제는 행동이 노드의 채널에 대한 수수료율과 기본 수수료인 마르코프 결정 과정으로 정형화된다.
• 환경은 국소화를 사용하여 노드의 로컬 네트워크 주변부에 집중함으로써 훈련 효율성을 높이고 토폴로지적 종속성을 포착한다.
• PPO, DQN, DDPG, SAC, TD3의 다섯 가지 딥 강화학습 알고리즘이 DyFEn에서 훈련되고 평가되어 성능을 비교한다.
• 보상은 희박하며, 에피소드 기간 동안 라우팅된 지급에서 얻은 누적 수익 기반으로 계산되며, 수익은 에피소드 기간 동안 수집된 수수료의 합으로 계산된다.
• 실험은 실제 LN 스냅샷을 사용하고, 초깃금액을 다양하게 조정하여 학습된 정책의 강건성과 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 라이트닝 네트워크에서 지급 라우팅으로부터 수익을 극대화하는 데 있어 히ュ리스틱 수수료 전략을 능가할 수 있는가?
• RQ2 노드의 네트워크 주변부의 국소화 크기가 수수료 설정에서 DRL 에이전트의 성능과 수렴에 어떤 영향을 미치는가?
• RQ3 DRL 기반 수수료 정책은 히ュ리스틱 방법에 비해 초깃금액의 변동에 얼마나 민감한가?
• RQ4 DyFEn 환경에서 어떤 DRL 알고리즘이 가장 높은 수익과 가장 안정적인 성능을 달성하는가?
• RQ5 DyFEn과 같은 모의 환경은 실세계 블록체인 응용 프로그램에서 RL 방법을 평가하기 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• 국소화 크기가 L=100인 PPO 에이전트는 다른 알고리즘보다 유의미하게 높은 수익을 달성하여 뛰어난 성능을 입증했다.
• PPO는 여러 랜덤 초깃값 설정에서 일관되고 빠른 수렴을 보이며 훈련의 안정성을 입증했다.
• PPO 에이전트는 최고의 히ュ리스틱 기반 전략(비례 전략)보다 거의 10배 높은 수익을 올렸으며, 특히 초깃금액이 다양할 경우 두드러졌다.
• 작은 국소화 크기(L=100)는 더 큰 크기(L=500)보다 더 높은 수익을 올렸으며, 이는 수수료 최적화에서 국소 토폴로지 구조의 중요성을 강조한다.
• 비례 히ュ리스틱 전략은 초깃금액에 매우 민감하여 종종 수익이 0이 되었지만, DRL 에이전트는 모든 초깃값 설정에서 높은 성능를 유지했다.
• PPO와 같은 온정책 알고리즘은 DDPG 및 SAC와 같은 오프정책 방법보다 수익성과 수렴 속도 측면에서 뛰어나, 이 작업에 적합함을 시사한다.