[論文レビュー] Parallel Unbalanced Optimal Transport Regularization for Large Scale Imaging Problems

John Lee, Nicholas P. Bertrand+1 more|arXiv (Cornell University)|Aug 31, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用数 5

ひとこと要約

本論文は、大規模画像処理における非平衡最適輸送正則化のための新規並列可能プロキシマルアルゴリズムを提案する。ベックマンの定式化を用いることで、計算複雑度を O(N²) から O(N) に低減する。この手法により、質量の変化と幾何的連続性をモデル化することで、動的追跡を高精度かつリアルタイムで実現でき、圧縮センシングおよび前景分離のタスクにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

The modeling of phenomenological structure is a crucial aspect in inverse imaging problems. One emerging modeling tool in computational imaging is the optimal transport framework. Its ability to model geometric displacements across an image's support gives it attractive qualities similar to those of optical flow methods which are effective at capturing visual motion, but are restricted to operate in significantly smaller state-spaces. Despite this advantage, two major drawbacks make it unsuitable for general deployment: (i) it suffers from exorbitant computational costs due to a quadratic optimization-variable complexity, and (ii) it has a mass-balancing assumption that limits applications with natural images. We tackle these issues simultaneously by proposing a novel formulation for an unbalanced optimal transport regularizer that has linear optimization-variable complexity. In addition, we present a general parallelizable proximal method for this regularizer, and demonstrate superior empirical performance on novel dynamical tracking applications in synthetic and real video.

研究の動機と目的

• 従来の最適輸送の高コストな計算を軽減し、最適化変数の複雑度を O(N²) から O(N) に削減すること。
• 古典的最適輸送の質量バランス制約を克服し、強度が変化する自然画像への適用可能性を拡大すること。
• 一次ソルバーと互換性があり、証明可能に収束する並列可能プロキシマルアルゴリズムを、大規模な逆問題画像処理に適用可能にすること。
• 幾何的変位とフレーム間の質量変化をモデル化することで、動的動的追跡の強靭性を高めること。
• 実動画データにおいて、高圧縮測定値から動きのある物体を再構築する際の本手法の優位性を実証すること。

提案手法

• 質量増加および減少を組み込んだベックマン形式の非平衡最適輸送モデルを提案し、画像内の強度変化をモデル化可能にする。
• 標準的最適輸送と比較して、最適化変数の複雑度を O(N²) から O(N) に低減する線形変数最適化フレームワークを用いて、非平衡OT正則化子を定式化する。
• 非平衡OT正則化子のための並列可能プロキシマルアルゴリズムを設計し、収束性を保証するとともに、一次ソルバーと互換性を確保する。
• 動的動画分離のための強力なPCA（RPCA）フレームワークに正則化子を統合し、スパース前景に対して正と負の成分を別々に扱う。
• オンラインおよびバッチ設定の両方で手法を適用し、並列計算を活用したADMMベースのソルバーを用いて大規模動画データを処理する。
• スパース成分を正と負の部分（S⁺, S⁻）に分解し、それぞれに非平衡OT正則化を適用することで、運動中の強度変化を許容する。

実験結果

リサーチクエスチョン

• RQ1 非平衡最適輸送を線形変数複雑度で定式化することで、大規模画像処理にスケーラブルにすることができるか？
• RQ2 非平衡OTを一次最適化フレームワークに統合し、逆問題画像処理に適用可能か？
• RQ3 提案された非平衡OT正則化子は、特に圧縮センシング下でも動的追跡性能を向上させるか？
• RQ4 従来のOTやℓ₁ベースの動的モデルとは異なり、物体移動中の質量変化（例：明るさの変化や物体の出入り）を効果的に処理できるか？
• RQ5 本手法は、高圧縮動画測定値から動きのある被写体を再構築する際、実験的にどの程度の性能を示すか？

主な発見

• 提案された非平衡OT正則化子は、最適化変数の複雑度が O(N) に抑えられ、従来のOTでは非現実的だった大規模画像処理問題を解けるようにする。
• 本手法は、15%の圧縮（M/N = 0.15）下でも実動画において背景・前景分離に成功し、RPCA、RPCA+L1-DF、RPCA+BOT-DFを上回る性能を発揮する。
• 動的追跡において、UOT正則化子は時間的連続性と強度変化をℓ₁ベースの動的モデルよりもよく捉えており、前景回復がより明確かつ正確である。
• 並列プロキシマルアルゴリズムにより、大規模動画データ（例：95×160ピクセル、T=60）の効率的計算が可能となり、従来のOT手法では不可能だった。
• 質量が照明変化や物体の出入りによって変化する状況でも、本手法はRPCA+L1-DF や RPCA+BOT-DF を上回り、動きのある被写体の再構築に優れる。
• 固定された γ=λ√N の関係がなくても、パラメータチューニングが有効であったため、実世界の設定においても頑健で適応可能であることが示された。