[논문 리뷰] Q-curve and area rules for choosing heuristic parameter in Tikhonov regularization

Toomas Raus, Uno Hämarik|arXiv (Cornell University)|2018. 09. 06.

Numerical methods in inverse problems참고 문헌 27인용 수 3

한 줄 요약

이 논문은 소음 수준이 알려지지 않은 경우 티코노프 정규화에서 히우리스틱 정규화 매개변수 선택을 향상하기 위해 Q-곡선과 면적 규칙을 제안한다. 준최적성 함수의 국소 최소값을 분석하고, 수정된 오차와 준최적성 함수를 플로팅한 새로운 Q-곡선을 사용하여, 최대 면적 다각형을 통해 안정적인 매개변수를 식별한다. 이 방법은 이전의 히우리스틱 규칙을 능가하며, 소음 수준에 의존하는 규칙인 오차 원칙과 단조성 오차 규칙과 유사한 성능을 보인다.

ABSTRACT

We consider choice of the regularization parameter in Tikhonov method if the noise level of the data is unknown. One of the best rules for the heuristic parameter choice is the quasi-optimality criterion where the parameter is chosen as the global minimizer of the quasi-optimality function. In some problems this rule fails. We prove that one of the local minimizers of the quasi-optimality function is always a good regularization parameter. For choice of the proper local minimizer we propose to construct the Q-curve which is the analogue of the L-curve, but on x-axis we use modified discrepancy instead of discrepancy and on the y-axis the quasi-optimality function instead of the norm of the approximate solution. In area rule we choose for the regularization parameter such local minimizer of the quasi-optimality function for which the area of polygon, connecting on Q-curve this minimum point with certain maximum points, is maximal. We also provide a posteriori error estimates of the approximate solution, which allows to check the reliability of parameter chosen heuristically. Numerical experiments on extensive set of test problems confirm that the proposed rules give much better results than previous heuristic rules. Results of proposed rules are comparable with results of the discrepancy principle and the monotone error rule, if last two rules use the exact noise level.

연구 동기 및 목표

• 소음 수준이 알려지지 않은 경우 티코노프 정규화에서 정규화 매개변수를 선택하는 데 도전 과제를 해결한다.
• 기존의 히우리스틱 규칙(예: 준최적성 기준)의 한계를 극복한다. 이는 특정 불안정 문제에서 실패할 수 있다.
• 준최적성 함수의 국소 최소값들 중에서 수렴성과 안정성을 보장하기 위해 신뢰할 수 있는 매개변수를 선택하는 신뢰할 수 있는 방법을 개발한다.
• 후행 오차 추정치를 제공하여 히우리스틱으로 선택된 매개변수의 신뢰성을 검증한다.
• Q-곡선과 면적 규칙을 도입하여 이전의 히우리스틱 규칙을 향상시켜 더 정확한 매개변수 선택을 실현한다.

제안 방법

• L-곡선의 유사체로 Q-곡선을 제안한다. x축에는 수정된 오차를, y축에는 준최적성 함수 ψ_Q(α)를 사용한다.
• 면적 규칙을 정의하여, Q-곡선 상의 특정 최대값 점들과 함께 형성된 다각형의 면적을 최대화하는 ψ_Q(α)의 국소 최소값을 정규화 매개변수로 선택한다.
• ψ_Q(α)의 국소 최소값 집합 L_min을 후보 매개변수로 사용하며, 이 중 적어도 하나가 의사최적(즉, 최소 오차의 상수 배 이내의 오차를 갖는)임을 증명한다.
• 후행 오차 추정치 (20)를 도입하여, T(α_H, α*)와 T1(α_H)를 사용해 히우리스틱 해의 오차를 경계함으로써 매개변수 신뢰성의 검증이 가능하도록 한다.
• 부드럽지 않은 또는 부드러운 해에 대해 성능을 향상시키기 위해 d_MD(α) 대신 ψ_QD(α) 또는 d_ME(α)를 사용하는 변형을 제안한다.
• 문헌에서 제공하는 광범위한 벤치마크 테스트 문제 세트(예: [19, 5, 1, 10, 22, 39])를 활용해 규칙을 구현하고 테스트한다.

실험 결과

연구 질문

• RQ1 소음 수준이 알려지지 않은 경우, 준최적성 함수 ψ_Q(α)의 국소 최소값이 정규화 매개변수로 신뢰할 수 있는 후보가 될 수 있는가?
• RQ2 기존의 L-곡선 또는 히우리스틱 규칙과 비교해, ψ_Q(α)의 국소 최소값들 사이에서의 선택을 향상시키기 위해 Q-곡선은 어떻게 구성할 수 있는가?
• RQ3 Q-곡선 상의 다각형 면적을 최대화하는 국소 최소값을 선택하는 면적 규칙은 더 정확하고 안정적인 정규화 매개변수를 도출하는가?
• RQ4 진정한 소음 수준이 알려지지 않은 상황에서, 후행 오차 추정치를 사용해 히우리스틱으로 선택된 매개변수의 신뢰성을 검증할 수 있는가?
• RQ5 정확한 소음 수준이 알려진 경우, 제안된 Q-곡선과 면적 규칙은 오차 원칙과 단조성 오차 규칙과 같은 기존의 규칙과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• ψ_Q(α)의 국소 최소값 집합 L_min에 포함된 적어도 하나의 값은 의사최적이다. 즉, 그 오차는 최소 가능한 오차의 상수 배 이내이다.
• Q-곡선 상의 면적 규칙은 광범위한 테스트 문제 세트에서의 수치 실험에서 이전의 히우리스틱 규칙을 크게 능가한다.
• 정확한 소음 수준을 사용하는 오차 원칙과 단조성 오차 규칙과 비교해, 제안된 규칙은 유사한 정확도를 달성한다.
• Set 1에서 73%의 경우에 조건 b ≤ 2와 T1(α_H) ≤ 9가 충족되었으며, 이는 신뢰할 수 있는 매개변수 선택을 의미한다. 61%의 경우 T1(α_H) ≤ 4를 만족했다.
• 이 방법은 강건하다. 준최적성 기준이 실패하는 경우에도 Q-곡선 상의 면적 규칙은 안정적인 매개변수를 식별한다.
• 후행 오차 추정치 (20)는 히우리스틱 매개변수의 검증이 가능하며, Set 1에서 97%의 경우 T1(α_H) ≤ 9 조건이 충족되어 매개변수 신뢰성에 대한 신뢰를 뒷받침한다.