[논문 리뷰] Analysis of Dual-Based PID Controllers through Convolutional Mirror Descent

Santiago Balseiro, Haihao Lu외 2명|arXiv (Cornell University)|2022. 02. 12.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 기존의 Convolutional Mirror Descent (CMD)라는 새로운 1차 알고리즘을 도입함으로써, 온라인 할당 문제에서 이중 기반 PID 컨트롤러에 대한 최초의 리그레트 한계를 확립한다. 이 알고리즘은 과거 기울기의 가중 이동 평균을 사용한다. 저자들은 CMD가 악성 입력 조건 하에서도 낮은 리그레트를 달성함을 증명하고, 이를 바탕으로 예산 편성 및 유사한 설정에서 이중 기반 PID 컨트롤러에 대한 최초의 이론적 성능 보장을 도출한다.

ABSTRACT

Dual-based proportional-integral-derivative (PID) controllers are often employed in practice to solve online allocation problems with global constraints, such as budget pacing in online advertising. However, controllers are used in a heuristic fashion and come with no provable guarantees on their performance. This paper provides the first regret bounds on the performance of dual-based PID controllers for online allocation problems. We do so by first establishing a fundamental connection between dual-based PID controllers and a new first-order algorithm for online convex optimization called \emph{Convolutional Mirror Descent} (CMD), which updates iterates based on a weighted moving average of past gradients. CMD recovers, in a special case, online mirror descent with momentum and optimistic mirror descent. We establish sufficient conditions under which CMD attains low regret for general online convex optimization problems with adversarial inputs. We leverage this new result to give the first regret bound for dual-based PID controllers for online allocation problems. As a byproduct of our proofs, we provide the first regret bound for CMD for non-smooth convex optimization, which might be of independent interest.

연구 동기 및 목표

• 널리 사용되는 이중 기반 PID 컨트롤러에 대한 증명 가능한 성능 보장을 제공함으로써, 온라인 할당 문제에서 이론과 실천의 격차를 메운다.
• 온라인 볼록 최적화에서 이중 기반 PID 컨트롤러와 1차 최적화 알고리즘 간의 공식적 연결 고리를 수립한다.
• Convolutional Mirror Descent (CMD)를 도입하고 분석한다. 이는 운동량을 포함한 온라인 미러 내림(descents)과 낙관적 미러 내림을 일반화하는 새로운 알고리즘이다.
• 악성 입력 조건 하에서 온라인 할당 문제의 이중 기반 PID 컨트롤러에 대한 최초의 리그레트 한계를 유도한다.
• 운동량과 도함수 항이 실용적 설정에서 컨트롤러의 내성과 성능에 미치는 영향을 탐색한다.

제안 방법

• 과거 기울기의 가중 이동 평균을 사용하여 반복을 갱신하는 알고리즘인 Convolutional Mirror Descent (CMD)를 도입한다.
• 일반적인 온라인 볼록 최적화 문제에서 악성 입력 조건 하에 CMD가 낮은 리그레트를 달성할 수 있는 충분한 조건을 확립한다.
• 특정 매개변수 설정 하에서 이중 기반 PID 컨트롤러가 CMD와 동치임을 증명함으로써 리그레트 분석이 가능해진다.
• CMD의 리그레트 한계를 활용하여, 온라인 할당 문제에서 이중 기반 PID 컨트롤러에 대한 최초의 이론적 성능 보장을 도출한다.
• 이론적 통찰과 실험적 평가를 통해 PID 컨트롤러의 적분(I), 도함수(D), 운동량 항이 수행에 미치는 역할을 분석한다.
• 비부드럽고 볼록 최적화 문제에 대해 CMD의 최초 리그레트 한계를 제공한다. 이는 별도의 관심사로도 간주될 수 있다.

실험 결과

연구 질문

• RQ1 온라인 할당 문제에 적용되는 이중 기반 PID 컨트롤러에 대해 증명 가능한 리그레트 보장을 분석할 수 있는가?
• RQ2 이중 기반 PID 컨트롤러와 CMD와 같은 1차 최적화 알고리즘 간의 근본적인 연결 고리는 무엇인가?
• RQ3 운동량과 도함수 항은 온라인 할당 설정에서 PID 컨트롤러의 성능과 내성에 어떤 영향을 미치는가?
• RQ4 CMD는 악성 온라인 볼록 최적화, 특히 비부드러운 설정에서 낮은 리그레트를 달성하는가?
• RQ5 운동량 또는 낙관적 요소를 통합함으로써 PID 컨트롤러의 이론적 성능을 향상시킬 수 있으며, 그 조건은 무엇인가?

주요 결과

• 논문은 온라인 할당 문제에서 이중 기반 PID 컨트롤러에 대한 최초의 리그레트 한계를 확립하여, 그 광범위한 사용에 대한 이론적 근거를 제시한다.
• 특정 매개변수 설정 하에서 이중 기반 PID 컨트롤러가 공식적으로 Convolutional Mirror Descent (CMD)와 동치임을 입증한다.
• 가중치 설정과 스텝 사이즈에 특정 조건이 만족될 경우, CMD는 악성 입력 조건 하에서도 낮은 리그레트를 달성한다.
• 적분 항을 통한 운동량 도입은 내성 향상에 기여하며, 특히 스텝 사이즈가 과대평가된 경우 성능 유지 범위가 넓어진다.
• 도함수 항(D)은 큰 스텝 사이즈 조건에서 보편 점법을 근사함으로써 안정성을 향상시키며 성능을 향상시킨다.
• 실험 결과는 최적의 스텝 사이즈와 운동량(예: s=10, β=0.99) 설정 하에서 I 및 D 항 추가가 성능에 미치는 영향이 미미함을 보여주며, 높은 내성성을 시사한다.