[논문 리뷰] Dropout Ensemble Kalman inversion for high dimensional inverse problems

Shiyang Liu, Sebastian Reich외 1명|arXiv (Cornell University)|2023. 08. 31.

Statistical and numerical algorithmsMathematics인용 수 3

한 줄 요약

이 논문은 고차원 역문제에서 표준 Ensemble Kalman Inversion(EKI)의 부분공간 제약을 극복하기 위해 군집 이탈 성분에 드롭아웃 정규화를 적용하는 새로운 방법인 Dropout-Ensemble Kalman Inversion(DEKI)을 제안한다. DEKI는 작은 군집 크기로도 수렴 가능하게 하고, 차원 수에 대해 선형 계산 스케일링을 달성하며, 최적의 쿼리 복잡도를 확보한다. 이는 이론적 분석과 고차원 PDE 제약 역문제에 대한 수치 실험을 통해 검증되었다.

ABSTRACT

Ensemble Kalman inversion (EKI) is an ensemble-based method to solve inverse problems. Its gradient-free formulation makes it an attractive tool for problems with involved formulation. However, EKI suffers from the ''subspace property'', i.e., the EKI solutions are confined in the subspace spanned by the initial ensemble. It implies that the ensemble size should be larger than the problem dimension to ensure EKI's convergence to the correct solution. Such scaling of ensemble size is impractical and prevents the use of EKI in high dimensional problems. To address this issue, we propose a novel approach using dropout regularization to mitigate the subspace problem. We prove that dropout-EKI converges in the small ensemble settings, and the computational cost of the algorithm scales linearly with dimension. We also show that dropout-EKI reaches the optimal query complexity, up to a constant factor. Numerical examples demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 초기 군집의 스칼라에 의해 제한되는 해를 갖는 Ensemble Kalman Inversion(EKI)의 부분공간 성질을 해결하며, 문제 차원을 초월하는 군집 크기가 필요하다.
• 고차원 역문제에서 큰 군집 크기가 비현실적이므로, 초기 부분공간을 초월한 탐색을 향상시키는 정규화 메커니즘을 도입하여 이를 해결한다.
• 고정된 작은 군집 크기로도 고차원 설정에서 수렴성과 최적성을 유지하는 이론적으로 탄탄하고 계산 효율적인 방법을 개발한다.
• 제안된 방법의 이론적 수렴 보장과 쿼리 복잡도 한계를 설정하며, 영차수 최적화의 맥락에서 최적성을 입증한다.

제안 방법

• EKI 반복 과정에서 군집 이탈 성분에 드롭아웃 정규화를 도입하여, 업데이트 중에 성분을 무작위로 억제함으로써 초기 부분공간을 초월한 탐색을 촉진한다.
• 표준 EKI 업데이트 규칙을 수정하여, 군집 이탈과 무작위 드롭아웃 마스크 간의 하다르드 곱을 적용함으로써 군집 공분산 업데이트에 확률적 편향을 효과적으로 도입한다.
• 적절한 스텝 사이즈 적응 조건 하에서 선형 및 강凸 비선형 문제에 대해 지수 수렴을 증명하여 고차원 설정에서 안정성과 정확성을 보장한다.
• 알고리즘의 쿼리 복잡도를 분석하여, 고려된 문제 클래스에서 상수 인자까지 최적의 성능을 달성함을 보여주며, 고차원 역문제에 대해 효율적임을 입증한다.
• 문제 차원에 관계없이 고정된 군집 크기로 구현하여 고차원 PDE 제약 역문제에 대한 확장성을 확보한다.
• 데이터 불일치와 사전 정보를 균형 있게 조절하기 위해 사전 공분산 행렬을 갖는 티호노프 정규화 손실 함수를 사용하며, 베이지안 추론 프레임워크와 일관된다.

Figure 4: Comparison of the inversion solutions of EKI and DEKI in Darcy’s law model in different setups with ensemble size $J=15$ . Row 1: setup 1 $(l_{x}=0.1,l_{y}=0.1,d_{u}=136)$ ; Row 2: setup 2 $(l_{x}=0.2,l_{y}=0.05,d_{u}=142)$ ; Row 3: setup 3 $(l_{x}=0.15,l_{y}=0.05,d_{u}=179)$ ; Row 4: setu

실험 결과

연구 질문

• RQ1 드롭아웃 정규화가 EKI에 효과적으로 적용되어 작은 군집으로도 고차원 역문제에서 수렴 가능하게 하고 부분공간 성질을 완화할 수 있는가?
• RQ2 제안된 DEKI 방법이 문제 차원에 대해 선형 계산 스케일링을 달성하여 대규모 응용에 실현 가능한가?
• RQ3 적절한 스텝 사이즈 선택 조건 하에서 DEKI의 선형 및 강凸 비선형 문제에 대한 이론적 수렴 속도는 무엇인가?
• RQ4 DEKI가 영차수 최적화의 맥락에서, 상수 인자까지 최적의 쿼리 복잡도를 달성하는가?
• RQ5 고차원 PDE 제약 역문제에서 DEKI는 표준 EKI보다 해의 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• DEKI는 EKI의 부분공간 성질을 성공적으로 완화하여, 문제 차원보다 작은 군집 크기로도 진짜 해에 수렴함을 보였다.
• 이론적 분석을 통해, 적절한 스텝 사이즈 적응 조건 하에서 선형 문제에 대해 DEKI는 지수 수렴 속도를 보이며, 강凸 비선형 문제의 최종 단계에서도 동일한 수렴 속도를 확보함을 확인하였다.
• DEKI의 계산 비용은 문제 차원 $d_u$에 대해 선형으로 증가하며, 이는 고차원 역문제에서 최적임을 의미한다.
• 영차수 최적화 복잡도 분석의 적응을 통해, 고려된 문제 클래스에서 DEKI는 상수 인자까지 최적의 쿼리 복잡도를 달성함을 입증하였다.
• 최대 $d_u = 254$ 개의 매개변수를 가진 Darcy의 흐름 모델에 대한 수치 실험 결과, DEKI는 $J = 15$ 개의 군집 구성원으로도 정확한 역해를 유지하는 반면, 표준 EKI는 수렴하지 못함을 확인하였다.
• 모든 테스트 설정에서 DEKI는 시간이 지남에 따라 데이터 불일치와 해 오차를 일관되게 감소시키지만, EKI는 부분공간 제약으로 인해 정체되며, 반복적인 무작위 초기화와 드롭아웃 실현조차도 이를 회피하지 못함을 확인하였다.