[論文レビュー] Analysis of the Frank-Wolfe Method for Logarithmically-Homogeneous Barriers, with an Extension

Renbo Zhao, Robert M. Freund|arXiv (Cornell University)|Oct 18, 2020

Mathematical Approximation and Integration被引用数 5

ひとこと要約

本稿では、$\theta$-対数的同次的自己調和バリア関数を最小化するフランク＝ウォルフ法の新しい収束解析を提示する。$\varepsilon$-精度に達するまでの反復回数が$O((\delta_0 + \theta)\ln(\delta_0) + \theta^2/\varepsilon)$であることを示している。ホルダー滑らか関数に対しては、適応的ステップサイズの拡張を導入し、シミュレートされたPET問題において性能を検証した。

ABSTRACT

We present a new analysis of the Frank-Wolfe method proposed in Dvurechensky et al. applied to constrained minimization problems where the objective function $f$ is a $ heta$-logarithmically-homogeneous self-concordant barrier. We show that the Frank-Wolfe method requires $O((\delta_0 + heta)\ln(\delta_0) + heta^2/\varepsilon)$ iterations to produce an $\varepsilon$-approximate solution, where $\delta_0$ denotes the initial optimality gap. This result establishes certain intrinsic connections between $ heta$-logarithmically homogeneous barriers and the Frank-Wolfe method. When specialized to the $D$-optimal design problem, we essentially recover the complexity obtained by Kachiyan using the Frank-Wolfe method with exact line-search. We present numerical experiments on simulated PET problem instances that demonstrate the potential for practical usefulness of the Frank-Wolfe method on this class of problems. In addition, we present and analyze an adaptive step-size Frank-Wolfe method when $f$ is Holder smooth.

研究の動機と目的

• 対数的同次的自己調和バリア関数の下でのフランク＝ウォルフ法の収束を解析すること。
• $\varepsilon$-近似解を達成するためのタイトな反復複雑度バウンドを確立すること。
• 滑らかさパラメータの知識を必要としない適応的ラインサーチを用いて、ホルダー滑らか目的関数への法の拡張。
• バリア関数の曲率と線形最小化による降下方向選択を用いて収束速度を導出すること。
• D最適設計問題に応用し、カチヤンの研究から得られる既知の複雑度バウンドを回復すること。
• 合成されたPET問題に対して数値実験を実施し、実用的効率を示すこと。

提案手法

• 対数的同次的自己調和バリア関数の性質を活用して、最適性ギャップの進化を制限する。
• 初期の最適性ギャップ$\delta_0$を追跡し、$\theta$に関する対数的および二次的項を用いて反復回数と関連付ける。
• ホルダー滑らか関数に対する新しい適応的ステップサイズルールを導入し、滑らかさパラメータの知識なしに収束を保証する。
• バリア関数の曲率と線形最小化による降下方向選択を用いて収束速度を導出する。
• D最適設計問題に応用し、カチヤンの研究から得られる既知の複雑度バウンドを回復する。
• 合成されたPET問題に対して数値実験を実施し、実用的効率を示す。

実験結果

リサーチクエスチョン

• RQ1 対数的同次的自己調和バリア関数にフランク＝ウォルフ法を適用した際の反復複雑度は何か？
• RQ2 収束速度が初期の最適性ギャップ$\delta_0$とバリアパラメータ$\theta$にどのように依存するか？
• RQ3 滑らかさパラメータの事前知識なしに、ホルダー滑らか目的関数に対して適応的ステップサイズ戦略を開発可能か？
• RQ4 D最適設計のような特殊ケースにおいて、フランク＝ウォルフ法は既知の複雑度バウンドを達成するか？
• RQ5 実世界にインspiredされた問題例（PET再構成など）において、この法は実際の性能をどのように示すか？

主な発見

• フランク＝ウォルフ法は、$\varepsilon$-最適解に到達するまで$O((\delta_0 + \theta)\ln(\delta_0) + \theta^2/\varepsilon)$反復で収束する。
• 複雑度バウンドは、正確なラインサーチを用いた場合のD最適設計に対する既知のレートを回復し、カチヤンの結果と一致する。
• 対数的同次的バリア関数とフランク＝ウォルフ法の収束行動との間には、本質的な幾何的関係が存在する。
• 適応的ステップサイズ変種は、滑らかさパラメータの事前知識なしにホルダー滑らか関数に対して収束を保証する。
• シミュレートされたPET問題における数値結果から、この法がこのクラスの問題に対して実用的で効率的であることが示された。
• 解析から、バリアパラメータ$\theta$が収束速度と反復回数のバランスを決定する上で極めて重要な役割を果たすことが明らかになった。