[論文レビュー] Algorithms and software for projections onto intersections of convex and non-convex sets with applications to inverse problems

Bas Peters, Felix J. Herrmann|arXiv (Cornell University)|Feb 26, 2019

Sparse and Compressive Sensing Techniques参考文献 87被引用数 4

ひとこと要約

本稿では、逆問題における複数の凸および非凸制約集合の積集合への射影を効率的に計算するための新規なアルゴリズムとソフトウェアパッケージであるSetIntersectionProjectionを提案する。適応的罰則パラメータ選択、並列計算、マルチレベル加速を活用することで、Dykstraのアルゴリズムを凌駕し、トレードオフパラメータを導入せずに多様な事前知識を用いた効果的な正則化を可能にする。

ABSTRACT

We propose algorithms and software for computing projections onto the intersection of multiple convex and non-convex constraint sets. The software package, called SetIntersectionProjection, is intended for the regularization of inverse problems in physical parameter estimation and image processing. The primary design criterion is working with multiple sets, which allows us to solve inverse problems with multiple pieces of prior knowledge. Our algorithms outperform the well known Dykstra's algorithm when individual sets are not easy to project onto because we exploit similarities between constraint sets. Other design choices that make the software fast and practical to use, include recently developed automatic selection methods for auxiliary algorithm parameters, fine and coarse grained parallelism, and a multilevel acceleration scheme. We provide implementation details and examples that show how the software can be used to regularize inverse problems. Results show that we benefit from working with all available prior information and are not limited to one or two regularizers because of algorithmic, computational, or hyper-parameter selection issues.

研究の動機と目的

• 逆問題における複数の凸および非凸制約集合の積集合への射影の計算的課題に対処すること。
• 個々の集合への射影が困難な場合に問題を引き起こす既存の手法（例：Dykstraのアルゴリズム）の限界を克服すること。
• 境界、スパarsity、低ランク、全 Variation など、多様な事前知識（例：束縛、スパarsity、低ランク、全 Variation）を、トレードオフパラメータを導入せずに正則化に活用できることを可能にすること。
• 実世界の逆問題に対応するための並列処理と自動パラメータ選択をサポートする実用的で高性能なソフトウェアパッケージの開発。
• 収束を過剰に計算せずに保証するための、実行可能解と反復解の相対的変化に基づく頑健な停止基準の提供。

提案手法

• 集合の積集合への射影に特化したADMMフレームワークの変種として、射影適応的緩和同時方向乗数法（PARSDMM）を提案する。
• 局所的双対変数および残差情報に基づき、罰則パラメータ（ρ）と緩和パラメータ（γ）の適応的更新ルールを導入し、収束速度を向上させる。
• 線形変換（A_i）を用いて射影問題を並列な部分問題に分解し、細粒度および粗粒度の並列処理を可能にする。
• 制約集合間の構造的類似性を活用することで計算コストを低減するマルチレベル加速スキームを採用する。
• 正規化された変換ドメインにおける実行可能誤差（r^feas_i）と反復解の相対的変化（r^evol）を組み合わせた二重の停止基準を実装し、収束を頑健に検出する。
• ノルム球、束縛制約、カーディナリティ、低ランク行列など、一般的な集合に対する効率的な射影オペレータを統合する。

実験結果

リサーチクエスチョン

• RQ1 個々の射影が計算的に高コストである場合に、複数の凸および非凸集合の積集合への射影を効率的に計算できるか？
• RQ2 ADMMベースのソルバに適応的パラメータ選択戦略を設計することで、手動のチューニングなしに収束を改善できるか？
• RQ3 制約集合間の構造的類似性を活用することで、大規模な逆問題における計算パフォーマンスがどの程度向上するか？
• RQ4 Dykstraのアルゴリズムに比べ、本手法が複雑な非凸制約を扱いながらも、速度と頑健性の面で優れているか？
• RQ5 提案された停止基準は、実用的な逆問題応用において、解の精度と計算コストのバランスをどの程度効果的にとっているか？

主な発見

• PARSDMMアルゴリズムは、特に複雑または非凸な集合への射影において、Dykstraのアルゴリズムを著しく上回る収束速度と頑健性を示す。
• 適応的罰則および緩和パラメータの使用により、手動のチューニングの必要性が低減され、多様な逆問題タイプにおいて収束が加速される。
• 制約集合にわたる並列処理により、特にマルチコアまたはGPUアクセラレートアーキテクチャにおいて顕著な高速化が達成される。
• マルチレベル加速スキームは、共通する変換ドメインなどの類似性を活用することで、計算コストの効果的低減を実現する。
• 実行可能誤差と反復解の相対的変化に基づく二重の停止基準により、最小限のオーバーヘッドで正確な収束検出が可能となり、数値実験ではε^evol = 10⁻²およびε^feas_i = 10⁻³を達成した。
• ソフトウェアパッケージSetIntersectionProjectionは、トレードオフパラメータを導入せずに、複数の事前制約を統合することで、困難な逆問題（例：同時ノイズ除去・ぼかし補正・穴埋め、色の除去）の正則化に成功した。