[論文レビュー] Robust inversion via semistochastic dimensionality reduction

Aleksandr Y. Aravkin, Michael P. Friedlander+1 more|arXiv (Cornell University)|Oct 5, 2011

Sparse and Compressive Sensing TechniquesEngineering参考文献 21被引用数 17

ひとこと要約

本稿では、重-t分布ペナルティとランダム化サンプリングによる準確度次元削減を組み合わせた、ロバストな逆問題フレームワークを提案する。この手法は、重い尾を持つノイズと最大50%のデータ損傷が生じる大規模な地震波逆問題を処理することを目的としており、最小二乗法やHuberペナルティに比べて優れた収束性と精度を達成する。フルウェーブフォームインバージョン実験を通じて、限界記憶BFGS法と適応的サンプリング戦略を用いて、柔軟な残差分布を許容することで、実世界のデータアーチファクトと外れ値をよりよくモデル化していることが検証された。

ABSTRACT

We consider a class of inverse problems where it is possible to aggregate the results of multiple experiments. This class includes problems where the forward model is the solution operator to linear ODEs or PDEs. The tremendous size of such problems motivates dimensionality reduction techniques based on randomly mixing experiments. These techniques break down, however, when robust data-fitting formulations are used, which are essential in cases of missing data, unusually large errors, and systematic features in the data unexplained by the forward model. We survey robust methods within a statistical framework, and propose a semistochastic optimization approach that allows dimensionality reduction. The efficacy of the methods are demonstrated for a large-scale seismic inverse problem using the robust Student's t-distribution, where a useful synthetic velocity model is recovered in the extreme scenario of 60% data missing at random. The semistochastic approach achieves this recovery using 20% of the effort required by a direct robust approach.

研究の動機と目的

• 大規模な逆問題における重い尾を持つノイズや外れ値を扱う際の最小二乗法およびHuberペナルティの限界を克服すること。
• 実世界のデータアーチファクトや外れ値をよりよくモデル化できる、Studentのt分布に基づくロバスト推定フレームワークの開発。
• 次元削減をランダム化サンプリングで統合し、計算コストを低減しながら収束特性を維持すること。
• スチルスティック最適化手法を用いて、大規模データセットを伴うフルウェーブフォーム地震画像再構成のスケーラブルかつ効率的なインバージョンを可能にすること。
• 本手法が古典的手法に比べて、データ損傷下でもモデルの精度とロバスト性において優れていることを実証すること。

提案手法

• 残差にガウス分布やラプラス分布を仮定しないで、Studentのt分布から導出されたロバストペナルティ関数を用いて逆問題を定式化する。
• データグループ（メタ実験）の重み付き平均を形成することで、問題のサイズを縮小しながら統計的性質を保持する、準確度次元削減戦略を適用する。
• 各反復で、小さなながら動的に増加するバッチのサンプリングにより、完全勾配の近似をランダム化サンプリングで行う。
• 限界記憶BFGS準ニュートン法を実装し、Hessian行列の適応的近似を用いて収束を加速しながら、メモリ使用量を低く保つ。
• 各ステップで目的関数の十分な減少を保証するため、サンプリングされた目的関数に対してArmijoバックトラッキングラインサーチを実施する。
• 勾配誤差の2次のモーメントに関する理論的境界を活用し、最適解との期待距離に基づいて、期待値における収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 外れ値や損傷データが存在する状況下で、Studentのt分布に基づくロバストペナルティが、古典的手法の最小二乗法やHuberペナルティを上回る性能を示せるか？
• RQ2 ランダム化サンプリングと次元削減を組み合わせた手法が、大規模な逆問題における収束速度と解の精度をどれほど維持できるか？
• RQ3 提案された準確度ステップ法は、完全勾配法と同等の収束速度を保ちながら、1反復あたりのコストをどれほど低減できるか？
• RQ4 異なるペナルティ関数下での最適化過程における残差分布の変化はどのように進行するか？また、Studentのtペナルティはより現実的な残差形状を許容できるか？
• RQ5 適応的バッチサイズとスチルスティックHessian近似は、最適化アルゴリズムの収束行動にどのような影響を及えるか？

主な発見

• Studentのtペナルティが最良のモデル再構成精度を達成し、反復回数が増えるにつれて相対的モデル誤差が安定して減少し、全手法の中で最も低く保たれた。
• 最小二乗法最適化はモデル誤差を低下させることができず、50%のデータ損傷と非ガウス分布ノイズに対して著しくロバストでないことが示された。
• Huberペナルティは初期段階で改善を示したが、約20反復目以降に誤差が増加し、外れ値分布への感受性が高いことが示された。
• サンプリングベースの最適化手法は、完全勾配法と同等の収束速度を達成しながら、1反復あたりの計算コストを低く保った。
• 反復ごとに1要素ずつ徐々に増加するサンプルサイズの変化は、制御的かつ適応的なサンプリング戦略を示している。
• 50反復後の残差ヒストограмを確認したところ、Studentのtペナルティのみが、真の重い尾を持つ分布へと残差分布を進化させることができたのに対し、ガウス分布やラプラス分布の事前分布によって強制された形状とは異なっていた。