[논문 리뷰] Optimization Methods for Inverse Problems

Nan Ye, Farbod Roosta-Khorasani외 1명|arXiv (Cornell University)|2017. 12. 01.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 종합 검토는 기계 학습과 역 문제에서의 최적화 기법을 연결하며, 특히 2차 및 확률적 최적화 방법이 대규모, 비볼록, 불안정 조건을 갖는 역 문제의 해법을 향상시키는 데 어떻게 기여할 수 있는지 보여준다. 헤시안 기반 방법이 일阶 방법에 비해 강건성과 하이퍼파ram터 조정의 감소를 바탕으로 우월함을 강조한다.

ABSTRACT

Optimization plays an important role in solving many inverse problems. Indeed, the task of inversion often either involves or is fully cast as a solution of an optimization problem. In this light, the mere non-linear, non-convex, and large-scale nature of many of these inversions gives rise to some very challenging optimization problems. The inverse problem community has long been developing various techniques for solving such optimization tasks. However, other, seemingly disjoint communities, such as that of machine learning, have developed, almost in parallel, interesting alternative methods which might have stayed under the radar of the inverse problem community. In this survey, we aim to change that. In doing so, we first discuss current state-of-the-art optimization methods widely used in inverse problems. We then survey recent related advances in addressing similar challenges in problems faced by the machine learning community, and discuss their potential advantages for solving inverse problems. By highlighting the similarities among the optimization challenges faced by the inverse problem and the machine learning communities, we hope that this survey can serve as a bridge in bringing together these two communities and encourage cross fertilization of ideas.

연구 동기 및 목표

• 비볼록성, 불안정 조건, 대규모 데이터와 같은 역 문제의 핵심 최적화 과제를 규명하고 해결하기 위해.
• 역 문제 및 기계 학습 공동체 간의 격차를 해소하기 위해 공통의 최적화 과제를 부각함으로써 두 분야를 연결하기 위해.
• 기계 학습에서의 현대 최적화 기법—특히 확률적 및 2차 방법—이 역 문제 해결 향상에 어떻게 기여할 수 있는지 보여주기 위해.
• 복잡한 역 문제를 해결하는 데 진전을 가속화하기 위해 공동체 간 아이디어의 상호 육성(크로스-페르티라이제이션)을 촉진하기 위해.

제안 방법

• 데이터 일치 최적화 과제로 역 문제를 설정하며, 데이터 적합성과 정규화를 조합한 오차 함수를 최소화하는 것이 목표이다.
• 비볼록, 대규모 문제를 위한 고전적 및 현대적 최적화 방법—예: 가우스-뉴턴, 신뢰 영역, 확률적 뉴턴 유형 방법—을 검토한다.
• 특히 유한합 설정에서의 대규모 문제에서 계산 비용을 줄이기 위해 랜덤화된 헤시안 근사치의 사용을 강조한다.
• 불안정 조건이 존재하는 비볼록 문제에서 강건한 수렴을 가능하게 하는 확률적 신뢰 영역 및 삼차 정규화 방법을 도입한다.
• 단체형 제약 조건을 효율적으로 처리하기 위해 프랭크-울프 방법을 제안하며, 상자 제약 조건 외의 대안을 제공한다.
• 일차 및 2차 방법 간의 계산적 트레이드오���을 분석하며, 후자의 불안정 조건에 대한 강건성과 하이퍼파ram터 조정이 적은 특성을 강조한다.

실험 결과

연구 질문

• RQ1 2차 최적화 방법은 불안정 조건 설정에서 역 문제 해법의 강건성과 수렴성을 어떻게 향상시킬 수 있는가?
• RQ2 대규모 역 문제에서 수렴 성능을 손상시키지 않으면서도 확률적 헤시안 근사치는 계산 비용을 얼마나 줄일 수 있는가?
• RQ3 역 문제와 기계 학습 간의 최적화 과제에 있어 핵심적인 차이점은 무엇이며, 이를 공동체 간에 어떻게 공유할 수 있는가?
• RQ4 현대적 확률적 최적화 기법은 비볼록 역 문제에서 국소 최적해를 벗어나는 데 어떻게 기여하는가?
• RQ5 프랭크-울프와 같은 제약 조건 최적화 방법은 어떤 방식으로 단체형 제약 조건이 있는 역 문제의 해법을 향상시킬 수 있는가?

주요 결과

• 가우스-뉴턴 및 신뢰 영역 알고리즘과 같은 2차 방법은 일차 방법에 비해 불안정 조건에 훨씬 더 강건하며, 이러한 환경에서는 종종 진전이 없음을 보여준다.
• 확률적 헤시안 근사치는 매 반복 계산 비용을 줄임으로써 대규모 문제에서 스케일러블한 2차 최적화를 가능하게 하며, 수렴 보장도 유지한다.
• 확률적 신뢰 영역 및 삼차 정규화 방법은 비볼록 최적화에서 유망한 성과를 보이며, 불안정 조건 및 노이즈가 많은 환경에서 개선된 수렴 행동을 제공한다.
• 일차 방법은 스텝 사이즈 선택을 포함해 광범위한 하이퍼파ram터 조정이 필요하지만, 2차 방법은 민감도가 낮고 조정이 적다.
• 프랭크-울프 방법은 단체형 제약 조건이 있는 문제에 대해 효율적인 대안을 제공하며, 특정 역 문제 설정에서는 상자 제약 조건 접근 방식을 능가한다.
• 기계 학습에서 영감을 얻은 최적화 기법의 역 문제 통합은 특히 비볼록성 및 대규모 설정에서 스케일러비리티, 강건성, 수렴성 향상에 크게 기여할 수 있다.