[論文レビュー] An automatic system to detect equivalence between iterative algorithms

Shipu Zhao, Laurent Lessard+1 more|arXiv (Cornell University)|May 10, 2021

Advanced Optimization Algorithms Research参考文献 41被引用数 4

ひとこと要約

本論文は、制御理論にインspiredされたフレームワークを導入し、反復的凸最適化手法におけるアルゴリズム同等性を自動的に検出する。アルゴリズムを非線形フィードバックを持つ線形時不変（LTI）動的システムとしてモデル化し、伝達関数と記号計算を用いる。これにより、2つのアルゴリズムが同一の関数呼び出しのシーケンスを生成する「オракル同等性」である場合に、ADMM、チャモブレー＝ポック、およびエクストラグラデントの変種など、広く使われている手法の間の深い構造的関係を特定できる。このフレームワークは、アルゴリズム探索と分類のための Linnaeus ソフトウェアパッケージに実装されている。

ABSTRACT

When are two algorithms the same? How can we be sure a recently proposed algorithm is novel, and not a minor twist on an existing method? In this paper, we present a framework for reasoning about equivalence between a broad class of iterative algorithms, with a focus on algorithms designed for convex optimization. We propose several notions of what it means for two algorithms to be equivalent, and provide computationally tractable means to detect equivalence. Our main definition, oracle equivalence, states that two algorithms are equivalent if they result in the same sequence of calls to the function oracles (for suitable initialization). Borrowing from control theory, we use state-space realizations to represent algorithms and characterize algorithm equivalence via transfer functions. Our framework can also identify and characterize some algorithm transformations including permutations of the update equations, repetition of the iteration, and conjugation of some of the function oracles in the algorithm. To support the paper, we have developed a software package named Linnaeus that implements the framework to identify other iterative algorithms that are equivalent to an input algorithm. More broadly, this framework and software advances the goal of making mathematics searchable.

研究の動機と目的

• 新たに提案された反復的最適化アルゴリズムが真に新規であるのか、それとも既存の手法の再パラメータライゼーションに過ぎないのかを特定する課題に取り組む。
• 外見上の構文的差異を超えて、反復的アルゴリズム間の同等性を原理的かつ計算的に実行可能な方法で検出するための手法を開発する。
• ADMM、ダグラス＝ラッハフォード、およびエクストラグラデント手法の間の関係など、文献に登場するアルゴリズム間の接続を自動で発見可能にする。
• アルゴリズム設計と分析の加速を支援する、検索可能で拡張可能な最適化アルゴリズムの知識ベースの構築を支援する。

提案手法

• 反復的最適化アルゴリズムを、静的非線形（例：勾配オラクル）とフィードバック接続された線形時不変（LTI）システムとして表現する。
• 記号代数を用いて各アルゴリズムのシステム表現の伝達関数を計算し、入出力挙動を捉える。
• 同じ初期化およびパラメータ設定下で、2つのアルゴリズムが同一のオラクル呼び出しのシーケンスを生成する場合に、それらをオラクル同等と定義する。
• 記号方程式の解法を用いて、2つのアルゴリズムの伝達関数が等しくなるパラメータ条件を特定し、同等性を証明する。
• シフト同等性、更新繰り返し、オラクル共役変換などのアルゴリズム変換を扱えるようにフレームワークを拡張する。
• フレームワークを Linnaeus に実装し、入力されたアルゴリズムを標準形に変換し、拡大中のライブラリから同等の既知のアルゴリズムを検索可能にする。

実験結果

リサーチクエスチョン

• RQ1 見た目が異なる2つの反復的最適化アルゴリズムが、オラクル呼び出しのシーケンスという観点で同等と見なされる条件は何か？
• RQ2 線形システム表現の伝達関数が、多様な一次最適化手法においてアルゴリズム同等性を一意に特定できるか？
• RQ3 更新の再順序付け、繰り返し、共役化などのアルゴリズム変換を体系的に検出し、特徴づける方法は何か？
• RQ4 このフレームワークを確率的・分散的・適応的アルゴリズムへと拡張する際、同等性検出の能力をどの程度維持できるか？
• RQ5 このアプローチを用いて、文献に登場する新しいアルゴリズムを自動的に分類・既存のものとリンクできるか？

主な発見

• 4つのよく知られたアルゴリズム—修正版アロウ＝ハーウィッツ法、過去からの外挿法、オプティミスティックミラー降下法、リフレクテッド勾配法—が適切な初期化のもとでオラクル同等であることが、構文的形態の違いにもかかわらず、同定された。
• 従来、多数の数学的導出を要したチャモブレー＝ポック法、ダグラス＝ラッハフォード法、ADMMの間の関係が、伝達関数解析を用いた1つの可換図式によって今や捉えられるようになった。
• Linnaeus は文献に登場する既知のアルゴリズムの変種を正しく同定し、標準形にマッピングすることで、検索および分類ツールとしての有効性を示した。
• 本手法は、標準的なアルゴリズムにとどまらず、シフト同等性や更新繰り返しといった変換に対しても同等性を検出でき、構造的再パラメータライゼーションに対して堅牢であることを示した。
• オラクル同等性を共有する依存グラフと、実行間で同一のオラクル呼び出しシーケンスを持つこととして再定義することで、確率的および分散アルゴリズムへのフレームワークの自然な拡張が可能となった。
• 記号計算により、DRとADMMの例のように、2つのアルゴリズムが同等になるパラメータ条件を自動で導出可能となった。