[논문 리뷰] An automatic system to detect equivalence between iterative algorithms

Shipu Zhao, Laurent Lessard외 1명|arXiv (Cornell University)|2021. 05. 10.

Advanced Optimization Algorithms Research참고 문헌 41인용 수 4

한 줄 요약

이 논문은 제어 이론에 영감을 받은 프레임워크를 소개하여 반복적 볼록 최적화 방법에서 알고리즘의 동치성을 자동으로 탐지한다. 알고리즘을 선형 동적 시스템과 비선형 피드백으로 모델링함으로써, 전이 함수와 기호 계산을 사용해 두 알고리즘이 동일한 함수 호출 시퀀스를 생성하는 경우, 즉 오라클 동치성(oracle-equivalent)임을 식별한다. 이는 ADMM, 챔볼레-포크, 그리고 에кс트라그레디언트 변형과 같이 널리 사용되는 방법들 사이의 깊은 구조적 연결을 탐지할 수 있게 한다. 이 프레임워크는 알고리즘 검색과 분류를 위한 Linnaeus 소프트웨어 패키지에 구현되어 있다.

ABSTRACT

When are two algorithms the same? How can we be sure a recently proposed algorithm is novel, and not a minor twist on an existing method? In this paper, we present a framework for reasoning about equivalence between a broad class of iterative algorithms, with a focus on algorithms designed for convex optimization. We propose several notions of what it means for two algorithms to be equivalent, and provide computationally tractable means to detect equivalence. Our main definition, oracle equivalence, states that two algorithms are equivalent if they result in the same sequence of calls to the function oracles (for suitable initialization). Borrowing from control theory, we use state-space realizations to represent algorithms and characterize algorithm equivalence via transfer functions. Our framework can also identify and characterize some algorithm transformations including permutations of the update equations, repetition of the iteration, and conjugation of some of the function oracles in the algorithm. To support the paper, we have developed a software package named Linnaeus that implements the framework to identify other iterative algorithms that are equivalent to an input algorithm. More broadly, this framework and software advances the goal of making mathematics searchable.

연구 동기 및 목표

• 새로 제안된 반복 최적화 알고리즘이 진정으로 새로운지, 아니면 기존 방법의 재매개변수화인지 판단하는 데 도전 과제를 해결하라.
• 표면적인 문법적 차이를 넘어서, 알고리즘 간의 동치성을 탐지하기 위한 원칙적이고 계산적으로 실현 가능한 방법을 개발하라.
• ADMM, Douglas-Rachford, 그리고 에кс트라그레디언트 방법 사이의 연결성을 연구자들이 자동으로 탐지할 수 있도록 지원하라.
• 알고리즘 설계와 분석을 가속화하기 위해 검색 가능하고 확장 가능한 최적화 알고리즘 지식 기반의 구축을 지원하라.

제안 방법

• 반복 최적화 알고리즘을 선형 시간 불변(LTI) 시스템으로 표현하고, 정적 비선형성(예: 기울기 오라클)과 피드백 구조로 모델링하라.
• 기호 대수를 사용해 각 알고리즘의 시스템 표현에 대한 전이 함수를 계산하여 입력-출력 행동을 포괄하라.
• 동일한 초기화 및 매개변수 설정 조건 하에서 동일한 오라클 호출 시퀀스를 생성하는 경우, 두 알고리즘이 오라클 동치임을 정의하라.
• 기호 방정식 해법을 사용해 두 알고리즘의 전이 함수가 동일해지는 매개변수 조건을 도출함으로써 동치성을 증명하라.
• 이동 동치성, 업데이트 반복, 오라클 쌍대성과 같은 알고리즘 변환을 다룰 수 있도록 프레임워크를 확장하라.
• 이 프레임워크를 Linnaeus 소프트웨어에 구현하여 입력 알고리즘을 표준형으로 변환하고, 점차 커지는 라이브러리에서 알려진 동치 알고리즘을 검색할 수 있도록 하라.

실험 결과

연구 질문

• RQ1 서로 다른 보이지만 반복 최적화 알고리즘이 오라클 호출 시퀀스 측면에서 동치로 간주될 수 있는 조건은 무엇인가?
• RQ2 선형 시스템 표현의 전이 함수가 다양한 일阶 최적화 방법에서 알고리즘 동치성을 유일하게 식별할 수 있는가?
• RQ3 재정렬, 반복, 또는 업데이트 쌍대화와 같은 알고리즘 변환을 체계적으로 탐지하고 특성화할 수 있는가?
• RQ4 이 프레임워크는 확률적, 분산형, 또는 적응형 알고리즘으로까지 확장되어 동치성 탐지 기능을 유지할 수 있는가?
• RQ5 이 접근법을 사용해 문헌 내의 새로운 알고리즘을 자동으로 분류하고 기존 알고리즘과 연결할 수 있는가?

주요 결과

• 표준 초기화 조건 하에서 네 가지 잘 알려진 알고리즘—수정된 애로우-허리치, 과거에서의 외삽, 옵티미스틱 미러 디센트, 반사 기울기 방법—이 문법적 형태는 다르지만 오라클 동치임을 성공적으로 식별하였다.
• 이전에는 광범위한 수학적 유도가 필요했던 챔볼레-포크, Douglas-Rachford, ADMM 간의 연결은 이제 전이 함수 분석을 통해 단일 순환 다이어그램으로 간단히 포괄된다.
• Linnaeus는 문헌에 기록된 알려진 알고리즘 변형을 정확히 식별하고 이를 표준형으로 매핑함으로써, 검색 및 분류 도구로서의 유용성을 입증하였다.
• 이 방법은 표준 알고리즘 뿐만 아니라 이동 동치성과 업데이트 반복과 같은 변환 조건 하에서도 동치성을 탐지할 수 있어, 구조적 재매개변수화에 대한 강건성을 보였다.
• 확률적 및 분산형 알고리즘으로의 확장은 오라클 동치성을 공유하는 의존성 그래프와 실행 간 동일한 오라클 호출 시퀀스 기반으로 재정의함으로써 자연스럽게 가능해졌다.
• 기호 계산을 통해 두 알고리즘이 동치가 되는 조건을 자동으로 도출할 수 있었으며, 이는 DR와 ADMM의 경우에 특히 그렇다.