[논문 리뷰] Mesh Independence of an Accelerated Block Coordinate Descent Method for Sparse Optimal Control Problems

Xiaoliang Song, Bo Chen외 1명|arXiv (Cornell University)|2017. 08. 31.

Matrix Theory and Algorithms참고 문헌 23인용 수 3

한 줄 요약

이 논문은 희소 최적 제어 문제를 이중성에 기반해 해결하기 위해 힐버트 공간에서 가속화된 블록 좌표강하(ABCD) 방법을 분석한다. 이중 문제와 원래 문제 모두에 대해 $O(1/k)$ 반복 복잡도를 확립하고, 메시 메쉬의 세분화에 따라 수렴 행동이 점점 더 불변해지는 두 가지 유형의 메쉬 독립성(메쉬 독립성)을 증명한다.

ABSTRACT

An accelerated block coordinate descent (ABCD) method in Hilbert space is analyzed to solve the sparse optimal control problem via its dual. The finite element approximation of this method is investigated and convergence results are presents. Based on the second order growth condition of the dual objective function, we show that iteration sequence of dual variables has the iteration complexity of $O(1/k)$. Moreover, we also prove iteration complexity for the primal problem. Two types of mesh-independence for ABCD method are proved, which asserts that asymptotically the infinite dimensional ABCD method and finite dimensional discretizations have the same convergence property, and the iterations of ABCD method remain nearly constant as the discretization is refined.

연구 동기 및 목표

• 희소 최적 제어 문제에 대해 힐버트 공간에서 가속화된 블록 좌표강하(ABCD) 방법의 수렴 성질을 분석하는 것.
• ABCD 방법의 유한요소 근사와 수렴 결과를 확립하는 것.
• 메쉬 독립성을 증명하여, 무한차원 및 유한차원 공식화가 메쉬 세분화에 따라 동일한 수렴 행동을 보임을 보이는 것.
• 이차 성장 조건 하에서 이중 문제와 원래 문제의 반복 복잡도 한계를 설정하는 것.

제안 방법

• ABCD 방법이 힐버트 공간 내 희소 최적 제어 문제의 이중 공식화에 적용된다.
• 무한차원 문제의 수치 계산을 가능하게 하기 위해 유한요소 이산화가 사용된다.
• 수렴 분석은 이중 목표 함수의 이차 성장 조건에 기반한다.
• 방법은 블록 갱신을 통해 좌표강하 단계를 수행하며, 모멘텀 유사 메커니즘을 통해 수렴을 가속화한다.
• 연속적이고 이산적 공식화 간의 반복 횟수와 수렴 속도를 비교하여 메쉬 독립성을 증명한다.
• 변분 분석과 이중 목표 함수의 성질을 이용해 반복 복잡도에 대한 이론적 한계를 유도한다.

실험 결과

연구 질문

• RQ1 이차 성장 조건 하에서 ABCD 방법이 이중 문제와 원래 문제 모두에 대해 $O(1/k)$ 수렴 속도를 달성하는가?
• RQ2 유한요소 메쉬를 세분화함에 따라 ABCD 방법의 수렴 행동은 어떻게 변화하는가?
• RQ3 무한차원 ABCD 방법이 수렴 측면에서 유한차원 이산화와 점점 더 동일한 행동을 보임을 입증할 수 있는가?
• RQ4 메쉬 세분화에 따라 반복 횟수가 거의 일정하게 유지되는 조건은 무엇인가?
• RQ5 동일한 가정 하에서 이중 문제와 원래 문제의 반복 복잡도는 어떻게 관련되어 있는가?

주요 결과

• 이차 성장 조건 하에서 이중 문제의 반복 수열은 $O(1/k)$ 수렴 속도를 달성한다.
• 원래 문제 역시 $O(1/k)$ 반복 복잡도를 보이며, 가속화된 수렴을 확인한다.
• 두 가지 유형의 메쉬 독립성이 증명되었다: 하나는 무한차원 및 유한차원 공식화 간 수렴 행동이 점점 더 동일한 성질을 가짐을 보이고, 다른 하나는 메쉬를 세분화함에 따라 필요한 반복 횟수가 거의 일정하게 유지됨을 주장한다.
• ABCD 방법은 다양한 이산화 수준에서도 일관된 수렴 성능을 유지하며, 메쉬 세분화에 대해 강건함을 보인다.
• 이론적 결과는 ABCD 방법이 이중성에 기반해 희소 최적 제어 문제를 효율적이고 확장 가능한 방식으로 해결하는 데 유용하다는 것을 확인한다.