[논문 리뷰] Various Total Variation for Snapshot Video Compressive Imaging

Xin Yuan|arXiv (Cornell University)|2020. 05. 16.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 여러 최적화 솔버를 사용하여 스냅샷 비디오 압축 촬영(SCI) 복원에서 이방향 TV(ATV), 등방향 TV(ITV2D), 3D 등방향 TV(ITV3D)의 성능을 조사한다. 연구 결과, ITV3D는 시뮬레이션과 실제 데이터에서 일관되게 가장 높은 복원 품질을 제공하는 것으로 나타났으며, FPG와 GAP 솔버는 속도와 정확도 사이의 최적의 균형을 이룩했으며, GAP는 더 적은 반복 횟수로도 뛰어난 성능을 기록했다.

ABSTRACT

Sampling high-dimensional images is challenging due to limited availability of sensors; scanning is usually necessary in these cases. To mitigate this challenge, snapshot compressive imaging (SCI) was proposed to capture the high-dimensional (usually 3D) images using a 2D sensor (detector). Via novel optical design, the {\em measurement} captured by the sensor is an encoded image of multiple frames of the 3D desired signal. Following this, reconstruction algorithms are employed to retrieve the high-dimensional data. Though various algorithms have been proposed, the total variation (TV) based method is still the most efficient one due to a good trade-off between computational time and performance. This paper aims to answer the question of which TV penalty (anisotropic TV, isotropic TV and vectorized TV) works best for video SCI reconstruction? Various TV denoising and projection algorithms are developed and tested for video SCI reconstruction on both simulation and real datasets.

연구 동기 및 목표

• 스냅샷 비디오 압축 촬영( SCI )에서 가장 뛰어난 복원 성능을 내는 총변위(TV) 공식—ATV, ITV2D, 또는 ITV3D—를 결정하는 것.
• FISTA, TwIST, FGP, ADMM, GAP 등 다양한 최적화 솔버가 서로 다른 TV 페널티와 함께 SCI 복원에 얼마나 효과적으로 작용하는지 평가하는 것.
• 모의 및 실제 SCI 데이터 세트에서 서로 다른 TV-솔버 조합의 복원 품질과 수렴 속도를 비교하는 것.
• 효율적이고 고품질의 비디오 SCI 복원을 위한 최적의 TV 공식과 솔버 조합을 특정하는 것.

제안 방법

• SCI 복원 문제를 제약 조건이 있는 최적화 문제로 설정: 데이터 일치 항 ‖y−Φx‖₂²/2 와 TV 정규화 항의 합을 최소화하는 것.
• 세 가지 TV 공식을 제안: ATV(각 2D 프레임에 대한 이방향 TV), ITV2D(각 프레임 별 등방향 TV), ITV3D(전체 3D 데이터 큐브에 대한 등방향 TV).
• FISTA, TwIST, FGP, ADMM, GAP 등 다섯 가지 최적화 프레임워크를 활용하며, 각각 다른 TV 페널티와 조합하여 복원 문제를 해결한다.
• 감지 행렬 Φ 와 기울기 연산자 Dh, Dv 의 벡터화된 표현을 사용하여 공간적 TV 노름을 효율적으로 계산한다.
• FGP 및 GAP 솔버에서는 반복적 임계처리 및 수축 기법을 적용하며, GAP는 더 빠른 수렴을 위해 적응형 선 탐색을 사용한다.
• 모든 조합을 모의 데이터 세트(Kobe, Traffic, Runner, Drop)와 DMD 기반 SCI 카메라로 촬영한 실제 데이터(B=10, 512×512 해상도)에서 테스트한다.

실험 결과

연구 질문

• RQ1 스냅샷 압축 촬영에서 ATV, ITV2D, 또는 ITV3D 중 어떤 총변위 공식이 가장 높은 품질의 비디오 복원을 이끌어내는가?
• RQ2 FISTA, TwIST, FGP, ADMM, GAP 등 다양한 최적화 솔버는 서로 다른 TV 페널티를 가진 SCI 복원에서 수렴 속도와 복원 정확도 측면에서 어떻게 비교되는가?
• RQ3 특정 최적화 솔버의 성능에 영향을 주기 위해 TV 공식의 선택이 상당한 영향을 미치는가?
• RQ4 FGP 또는 GAP 솔버는 FISTA 또는 TwIST보다 더 높은 복원 품질을 달성하면서도 빠른 수렴 속도를 유지할 수 있는가?
• RQ5 모의 및 실제 세계의 SCI 데이터 간 복원 결과와 수렴 행동은 어떻게 다름이 있는가?

주요 결과

• ITV3D 는 모든 모의 데이터 세트에서 평균 PSNR 가 가장 높게 유지되며, ATV 와 ITV2D 를 능가했으며, GAP-ITV3D 조합으로 최고의 결과 27.56 dB 를 기록했다.
• GAP 와 ADMM 솔버는 TwIST 보다 더 빠르게 수렴하고 더 높은 복원 품질을 달성했으며, TwIST 는 500회 이상의 반복이 필요로 하였다.
• FISTA 는 수렴 속도가 가장 빠르지만 결과가 뿌연 이미지가 되며, 반복 횟수를 늘려도 향상되지 않아 수렴 품질이 열악함을 시사한다.
• FGP 기반 솔버(특히 ATV 또는 ITV2D 와 조합한 FGP)는 속도와 정확도 사이의 최적 균형을 제공하며, FGP 는 단 5회 반복만으로도 양호한 결과를 도출했다.
• 실제 데이터(B=10)에서 GAP 와 ITV3D-FGP 는 움직이는 손의 복원이 가장 선명하여, FISTA 와 ADMM 보다 빠른 수렴 속도와 더 나은 시각적 품질을 확보했다.
• 실제 데이터 실험에서 FISTA 는 40회 반복 시 양호한 결과를 보였지만 더 이상 향상되지 않았고, ADMM 와 GAP 는 150회 반복까지 지속적으로 향상되었으며, GAP 가 최종적으로 가장 우수한 결과를 기록했다.