[논문 리뷰] Robust inversion via semistochastic dimensionality reduction

Aleksandr Y. Aravkin, Michael P. Friedlander외 1명|arXiv (Cornell University)|2011. 10. 05.

Sparse and Compressive Sensing TechniquesEngineering참고 문헌 21인용 수 17

한 줄 요약

이 논문은 무거운 尾를 가진 잡음과 최대 50%의 손상된 데이터를 가진 대규모 지구물리역문제를 다루기 위해 스트ู던트의 t-분포 페널티와 무작위 표집을 통한 반확률적 차원 축소를 조합한 강건한 역문제 해법을 제안한다. 이 방법은 잔차 분포의 유연성을 허용함으로써 최소제곱법과 투르-페널티보다 뛰어난 수렴성과 정확도를 달성하였으며, 한계기억 BFGS와 적응형 표집 전략을 사용한 전체파면역상화 실험을 통해 검증되었다.

ABSTRACT

We consider a class of inverse problems where it is possible to aggregate the results of multiple experiments. This class includes problems where the forward model is the solution operator to linear ODEs or PDEs. The tremendous size of such problems motivates dimensionality reduction techniques based on randomly mixing experiments. These techniques break down, however, when robust data-fitting formulations are used, which are essential in cases of missing data, unusually large errors, and systematic features in the data unexplained by the forward model. We survey robust methods within a statistical framework, and propose a semistochastic optimization approach that allows dimensionality reduction. The efficacy of the methods are demonstrated for a large-scale seismic inverse problem using the robust Student's t-distribution, where a useful synthetic velocity model is recovered in the extreme scenario of 60% data missing at random. The semistochastic approach achieves this recovery using 20% of the effort required by a direct robust approach.

연구 동기 및 목표

• 대규모 역문제에서 중성분과 이상치를 다루는 데에 한계가 있는 최소제곱법과 투르-페널티의 문제점을 해결한다.
• 실제 세계의 데이터 아티팩트와 이상치를 더 잘 모델링할 수 있는 스트루던트의 t-분포를 기반으로 한 강건한 추정 프레임워크를 개발한다.
• 차원 축소를 통해 무작위 표집을 통합하여 계산 비용을 줄이면서도 수렴 성질을 유지한다.
• 스토하스틱 최적화 기법을 활용해 거대한 데이터 세트를 가진 전체파면역상화를 위한 확장 가능하고 효율적인 역문제 해법을 구현한다.
• 데이터 손상 상황에서 기존 방법들에 비해 모델 정확도와 강건성 측면에서 제안된 방법의 우수성을 입증한다.

제안 방법

• 잔차에 대해 가우시안 또는 라플라스 잡음을 가정하지 않고, 스트루던트의 t-분포에서 유도된 강건한 페널티 함수를 사용하여 역문제를 수립한다.
• 데이터 그룹(메타실험)의 가중 평균을 형성하여 반확률적 차원 축소 전략을 적용함으로써 문제 크기를 줄이고 통계적 성질을 유지한다.
• 각 반복에서 작고 동적으로 증가하는 실험의 배치를 샘플링하여 스토하스틱 최적화에서 전체 기울기를 근사한다.
• 한계기억 BFGS 준뉴턴 방법을 구현하여 수렴 속도를 가속화하면서도 낮은 메모리 사용량을 유지한다.
• 각 단계에서 목적함수의 충분한 감소를 보장하기 위해 샘플된 목적함수에 대해 아르미조 백트랙킹 선검색을 적용한다.
• 기울기 오차의 2차 모멘트에 대한 이론적 경계를 활용하여, 최적 해와의 기대 거리에 기반해 기대값 기반 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 이상치와 손상된 데이터가 존재할 경우, 스트루던트의 t-분포 기반 강건한 페널티가 기존의 최소제곱법과 투르-페널티를 능가할 수 있는가?
• RQ2 무작위 표집과 함께 차원 축소를 적용할 때, 대규모 역문제의 수렴 속도와 해의 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 제안된 반확률적 방법은 전체 기울기 방법의 수렴 속도를 어느 정도 유지하면서도 반복당 비용을 줄일 수 있는가?
• RQ4 다양한 페널티 함수 하에서 최적화 과정 중 잔차 분포의 변화는 어떻게 되며, 스트루던트의 t-페널티는 더 현실적인 잔차 형태를 허용하는가?
• RQ5 적응형 배치 크기와 스토하스틱 헤시안 근사가 최적화 알고리즘의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 스트루던트의 t-페널티는 가장 높은 모델 재구성 정확도를 달성하였으며, 반복이 진행되면서 상대적 모델 오차가 안정적으로 감소하고 모든 시험 방법 중에서 가장 낮게 유지되었다.
• 최소제곱법 최적화는 모델 오차를 감소시키지 못했으며, 50%의 데이터 손상과 비가우시안 잡음에 대해 낮은 강건성을 보였다.
• 투르-페널티는 초기에는 개선이 있었지만 약 20회 반복 이후 오차가 증가하기 시작하여 이상치 분포에 민감함을 보였다.
• 표본 기반 최적화 방법은 전체 기울기 방법과 유사한 수렴 속도를 달성하면서도 낮은 반복당 계산 비용을 유지하였다.
• 샘플된 데이터 크기의 변화는 반복당 하나의 요소씩 점진적으로 증가하여 제어되고 적응적인 표본 전략을 보여주었다.
• 50회 반복 후 잔차 히스토그램을 분석한 결과, 스트루던트의 t-페널티만이 실제 무거운 꼬리 분포로의 잔차 분포 진화를 허용하였으며, 가우시안 또는 라플라스 사전분포에 의해 강제로 형성된 형태는 아니었다.