[논문 리뷰] Explorations on anisotropic regularisation of dynamic inverse problems by bilevel optimisation

Martin Benning, Carola‐Bibiane Schönlieb외 2명|arXiv (Cornell University)|2016. 02. 03.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 공간적 및 시간적 총변동(regulariser)의 하한 병합(infimal convolution)을 사용하여 동적 영상 노이즈 제거를 위한 최적의 비등방성 정규화 파라미터를 학습하기 위한 이중 최적화 프레임워크를 제안한다. 비볼록이며 비선형적으로 파arameter화된 하위 문제 역전파 문제를 해결함으로써, 이 방법은 영상 콘텐츠에 적응하여 PSNR 최대 46.87 dB 및 SSIM 0.942를 달성한다. 이는 최적의 정규화가 scence 동역학에 매우 민감하게 의존하며, 복잡한 운동의 경우 κ ≈ 0.5, 정적 배경의 경우 κ ≈ 0 또는 1임을 시사한다.

ABSTRACT

We explore anisotropic regularisation methods in the spirit of [Holler & Kunisch, 14]. Based on ground truth data, we propose a bilevel optimisation strategy to compute the optimal regularisation parameters of such a model for the application of video denoising. The optimisation poses a challenge in itself, as the dependency on one of the regularisation parameters is non-linear such that the standard existence and convergence theory does not apply. Moreover, we analyse numerical results of the proposed parameter learning strategy based on three exemplary video sequences and discuss the impact of these results on the actual modelling of dynamic inverse problems.

연구 동기 및 목표

• 비선형적 파라미터 의존성으로 인해 표준 이론이 실패하는 동적 역문제에서 최적의 정규화 파라미터를 선택하는 데 도전하는 것.
• 영상 노이즈 제거를 위한 지상 참조 데이터를 활용하여 공간-시간 정규화 파라미터를 학습하는 이중 최적화 전략을 개발하는 것.
• 공간적 및 시간적 정규화 요소의 하한 병합을 통해 스텝-케이징(stair-casing)과 같은 잡음 현상을 줄이기 위한 학습 기반 조정 방법을 탐구하는 것.
• 공간적 및 시간적 구성요소로의 분해가 파라미터 학습 하에서 의미 있고 안정적인지 평가하는 것.
• 다양한 동역학성과 배경 안정성을 보이는 실제 영상 시퀀스에서 이 방법의 성능을 평가하는 것.

제안 방법

• 상위 수준에서 하위 수준의 변분 정규화 문제의 해에 대한 데이터 적합도 손실을 최소화하는 이중 최적화 문제를 수립한다.
• 공간적 및 시간적 총변동을 조합한 하한 병합 정규화 요소를 사용하며, 공간적 및 시간적 적합도를 균형 잡는 가중치 κ ∈ [0,1]로 파arameter화한다.
• 하위 문제에 티호노프 유형 기능을 적용: min_u { ½||Ku−g||² + G(u;α) }, 여기서 G는 공간적 및 시간적 도함수의 TV 노름의 하한 병합이다.
• 파라미터 α(κ 포함)가 비볼록적이며 리프시츠 조건을 만족하지 못하는 비연속적 비선형 방식으로 하위 문제에 포함되는 비연속적 비선형 정규화 모델을 사용한다. 이는 표준 수렴 이론을 적용할 수 없음을 의미한다.
• 지상 참조 데이터를 사용하여 상위 수준의 손실 함수를 계산하고, 수치적으로 이중 최적화 문제를 반복 최적화 방법으로 해결한다.
• 재구성 결과 및 구성 요소 분해에 대해 감마 보정 및 시각적 분석을 수행하여 정성적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준 이론이 적용되지 않는 비선형적으로 의존하는 정규화 파라미터를 학습하는 데 있어 이중 최적화가 효과적인가?
• RQ2 다양한 운동 특성을 지닌 영상 시퀀스에서 공간적 및 시간적 정규화 간 최적의 균형(κ)은 어떻게 달라지는가?
• RQ3 하한 병합 모델은 공간적 및 시간적 구성요소로의 의미 있는 분해를 가능하게 하는가? 그리고 파라미터 학습 하에서 이 분해는 안정적인가?
• RQ4 학습된 정규화가 기존의 티호노프 또는 TV 방법에 비해 스텝-케이징과 같은 잡음 현상을 얼마나 줄이는가?
• RQ5 복잡한 운동이 존재하는 상황에서 다양한 오차 지표(PSNR, SSIM)는 시각적 품질과 최적의 파라미터 선택과 얼마나 관련이 있는가?

주요 결과

• 높은 운동성을 보이는 'flight' 시퀀스의 경우 최적의 κ는 약 0.52였으며, 이는 공간적 및 시간적 정규화가 근사적으로 동일한 기여를 한다는 것을 의미한다. 두 구성요소가 재구성에 기여하였다.
• 주로 동적인 콘텐츠를 지닌 'Harlem shake' 시퀀스의 경우 최적의 κ는 0.0265였으며, 이는 시간적 정규화가 지배적임을 시사한다. 이 방법은 PSNR 41.02 dB 및 SSIM 0.9604를 달성하였다.
• 'flight' 시퀀스의 경우 최적의 κ는 0.542였으며, PSNR 46.87 dB 및 SSIM 0.942를 달성하여 복잡한 운동에 대해 뛰어난 성능을 보였다.
• 정적 배경이 있는 시퀀스에서는 공간적 및 시간적 구성요소로의 분해가 명확했으며, κ ≈ 0 또는 1로 나타나 한 구성요소가 지배적임을 보였다.
• 원래의 κ 값이 [0,1] 외부에 있었더라도, 변환 공식 (4.5)를 사용하여 파라미터를 성공적으로 학습하였고, 결과는 시각적 및 정량적 평가 모두에서 일관성을 유지하였다.
• 연구 결과, 정규화 모델 및 파라미터 κ의 선택은 영상 콘텐츠에 매우 의존적이며, 최적의 성능은 모델 구조가 시나리오의 동역학과 정확히 일치할 때에만 달성됨을 보여주었다.