[論文レビュー] Fast Fourier Optimization: Sparsity Matters

Robert J. Vanderbei|arXiv (Cornell University)|Sep 4, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用数 10

ひとこと要約

本稿では、高速フーリエ変換（FFT）を最適化問題におけるスパースな線形制約として埋め込む、新規な手法を提案する。この手法により、高コントラストイメージング分野における高分解能フーリエ制約付き最適化問題を効率的に解くことが可能になる。離散フーリエ変換を2段階の分解に基づいて再定式化することにより、計算コストをO(N²)からO(N log N)に削減し、計算時間の増大を抑える中で、著しく細分化されたグリッドと向上した分解能を実現する。

ABSTRACT

Many interesting and fundamentally practical optimization problems, ranging from optics, to signal processing, to radar and acoustics, involve constraints on the Fourier transform of a function. It is well-known that the {\em fast Fourier transform} (fft) is a recursive algorithm that can dramatically improve the efficiency for computing the discrete Fourier transform. However, because it is recursive, it is difficult to embed into a linear optimization problem. In this paper, we explain the main idea behind the fast Fourier transform and show how to adapt it in such a manner as to make it encodable as constraints in an optimization problem. We demonstrate a real-world problem from the field of high-contrast imaging. On this problem, dramatic improvements are translated to an ability to solve problems with a much finer grid of discretized points. As we shall show, in general, the "fast Fourier" version of the optimization constraints produces a larger but sparser constraint matrix and therefore one can think of the fast Fourier transform as a method of sparsifying the constraints in an optimization problem, which is usually a good thing.

研究の動機と目的

• フーリエ変換によって制約される大規模最適化問題の計算ボトル neck を解消すること。
• 高コントラストイメージングのような問題において、計算コストが著しく増大することなく、より高い分解能の離散化を可能にすること。
• 線形プログラミングにおける内点法と互換性を持つ、スパースな線形制約としての離散フーリエ変換の再定式化。
• FFTに基づく再定式化が、最適化問題における制約行列をよりスパースかつ効率的にするという点を実証すること。

提案手法

• 本稿では、Cooley-Tukey FFTアルゴリズムに基づく2段階の分解を用いて、離散フーリエ変換を再定式化する。特に、奇数長の変換（N = 3^m）を対象としている。
• 1次元フーリエ和を、インデックスk₀, k₁およびj₀, j₁に関する二重和に書き直し、N = N₀N₁（N₀ = 3, N₁ = 3^{m-1}）の因数分解を活用する。
• 指数関数的項を、k₁とj₁に依存する項、k₁とj₀に依存する項、k₀とj₀に依存する項の3つの成分に分解し、分離可能な計算を可能にする。
• フーリエ変換を2つの1次元変換の合成として表現することで、最適化に適した線形性を保ちつつ、FFTに類似した再帰的処理を実現する。
• その結果、直接DFT計算による密度行列と比較して、はるかにスパースな制約行列が得られ、ソルバーの効率が向上する。
• 2次元問題（例：コロナグラフ設計）への応用では、各次元に順次2段階FFTを適用することで、このアプローチを拡張する。

実験結果

リサーチクエスチョン

• RQ1 標準的な最適化フレームワークにおいて、スパarsity や効率性を損なわずに、高速フーリエ変換を線形制約として埋め込むことは可能か？
• RQ2 大規模問題において、FFTに基づく再定式化と直接DFT計算とを比較した場合、制約行列のサイズ、スパarsity、および解法時間にどのような差が生じるか？
• RQ3 FFTに基づく手法は、フーリエ制約付き最適化問題において、どの程度高い分解能の離散化を可能にするか？
• RQ4 2段階FFT分解は、多次元問題に一般化可能であり、計算効率とスパarsityを維持できるか？
• RQ5 スパarsityは、高コントラストイメージング応用における内点法の収束性と全体の実行時間に、どのような影響を与えるか？

主な発見

• FFTに基づく再定式化により、制約行列の非ゼロ要素数は、1段階モデル（n=150）の約1,720万から2段階モデル（n=150）の839,240にまで95%以上削減された。
• n=1000の場合、2段階モデルでは非ゼロ要素数が2,960万に達したが、1段階モデルはメモリと計算限界のため実行不可能となった。
• 2段階モデルはn=1000の問題を26,060秒（約7.2時間）で解いたのに対し、1段階モデルは32ビットメモリ制限のため全く解けなかった。
• 2段階モデルはn=1000で444反復の内点法解法を実行し、双対目的関数値は0.05394369256であった。これは高い精度と収束性を示している。
• 2段階アプローチにより、1000×1000グリッド解像度が実現可能となり、1段階法では到達不可能だった。高コントラストイメージングのマスク設計の精度が著しく向上した。
• 本手法のスパarsityは、収束を早め、スケーラビリティを向上させ、従来不可能だった極めて細かいグリッドでの問題解決を可能にした。