[논문 리뷰] Approximate Dynamic Programming with Feasibility Guarantees

Alexander Engelmann, Maísa Beraldo Bandeira외 1명|arXiv (Cornell University)|2023. 06. 09.

Optimal Power Flow Distribution인용 수 4

한 줄 요약

이 논문은 비볼록 제약 조건이 있는 트리 구조 최적화 문제를 위한 새로운 근사 동적 프로그래밍(ADP) 체계를 제안하며, 단일 역방향-정방향 스캔을 통해 타당해를 보장한다. 가치 함수 근사와 집합 사영을 통한 타당 집합의 내부 근사화를 융합함으로써, 비용 정보를 통합하면서도 한 번의 스캔으로 타당해를 확보하는 방법을 제시하며, 전력 시스템 및 최적 제어 분야의 기존 접근법을 일반화한다.

ABSTRACT

Safe and economic operation of networked systems is often challenging. Optimization-based schemes are frequently considered, since they achieve near-optimality while ensuring safety via the explicit consideration of constraints. In applications, these schemes, however, often require solving large-scale optimization problems. Iterative techniques from distributed optimization are frequently proposed for complexity reduction. Yet, they achieve feasibility only asymptotically, which induces a substantial computational burden. This work presents an approximate dynamic programming scheme, which is guaranteed to deliver a feasible solution in "one shot", i.e., in one backward-forward iteration over all subproblems provided they are coupled by a tree structure. Our proposed scheme generalizes methods from seemingly disconnected domains such as power systems and optimal control. We demonstrate its efficacy for problems with nonconvex constraints via numerical examples from both domains.

연구 동기 및 목표

• 반복적 보정 없이 대규모 계층적 네트워크 시스템 최적화에서 타당성을 확보하는 데 도전하는 문제를 해결하기 위해.
• 분산 최적화의 점근적 타당성과 고전적 동적 프로그래밍의 차원의 극복 문제를 극복하면서 단일 스캔으로 타당성을 보장하는 방법을 개발하기 위해.
• 비용 정보와 비볼록 제약 조건을 통합함으로써 전력 시스템 및 최적 제어 분야의 기존 접근법을 통합하고 일반화하기 위해.
• 계산 지연과 타당성이 중요한 실시간 응용 분야에서의 실용적 구현을 가능하게 하기 위해.
• 일般 제약 집합을 가진 트리 구조 문제에서 근사 동적 프로그래밍에 대한 공식적 타당성 보장을 제공하기 위해.

제안 방법

• 비용과 타당성 정보를 모두 포함하는 확장된 실수 축적 가치 함수를 사용하여, 잎에서 루트로 향하는 역방향 재귀 전파를 가능하게 한다.
• 하위 문제의 타당 집합에 대한 내부 근사화를 도입함으로써, 부모 문제의 해가 타당해를 유지하도록 보장한다.
• 집합 사영을 통해 이러한 내부 근사화를 계산함으로써 트리 구조를 따라 타당성 제약 조건을 전파할 수 있다.
• 알고리즘은 역방향 스캔을 통해 근사 가치 함수와 타당 집합을 계산한 후, 정방향 스캔을 통해 타당해를 계산한다.
• 비용 정보는 가치 함수 내에서 조각별 2차 또는 다각형 근사화를 통해 정확하게 또는 근사적으로 유지된다.
• 특히 DC OPF 및 LinDistFlow 모델에서 다각형 제약 조건에 대해 효율적인 사영 계산을 위한 계산 기하 도구와의 호환성이 확보된다.

실험 결과

연구 질문

• RQ1 근사 동적 프로그래밍을 사용하여 비볼록 제약 조건이 있는 트리 구조 최적화 문제에 대해 단일 스캔으로 타당해를 보장할 수 있는가?
• RQ2 계산 가능성을 희생시키지 않고 타당성 유지 ADP 체계에 비용 정보를 통합하는 방법은 무엇인가?
• RQ3 제안된 방법이 타당성 컷 또는 유연성 집합 기반의 기존 기법을 어느 정도 일반화할 수 있는가?
• RQ4 내부 근사화와 집합 사영이 타당성을 유지하면서도 부분최적화 경계를 유지하는 데 어떤 역할을 하는가?
• RQ5 수렴 속도와 타당성 보장 측면에서 제안된 ADP 체계는 고전적 분산 최적화와 어떻게 비교되는가?

주요 결과

• 제안된 ADP 체계는 타당 집합의 내부 근사화를 통해 비볼록 제약 조건이 있는 경우에도 단일 역방향-정방향 스캔으로 해의 타당성을 보장한다.
• DC 최적 전력 흐름(DC OPF) 문제에서는 다면체 사영을 통해 정확한 타당성을 확보하며, 가치 함수는 조각별 2차 함수이자 미분 가능하지 않다.
• 이 방법은 전력 시스템 분야의 기존 유연성 집합 기반 기법을 일반화하며, 공식적인 타당성 보장을 갖춘 동일한 ADP 프레임워크에 통합한다.
• 수치 예제는 비볼록 제약 조건이 있는 문제에 대해 유효성을 입증하며, 반복적 방법 대비 계산 부담을 줄이면서도 타당성을 유지함을 보여준다.
• 트리 구조 문제를 공통의 ADP 공식화로 추상화함으로써, 전력 시스템과 최적 제어 분야 간의 방법 이행을 가능하게 한다.
• 이론적 분석은 가치 함수의 정의역이 공동 타당 집합의 사영과 정확히 일치함을 확인하여 계층 전반에서 일관성을 보장한다.