[논문 리뷰] Spatial-Angular Interaction for Light Field Image Super-Resolution

Yingqian Wang, Longguang Wang외 4명|arXiv (Cornell University)|2019. 12. 17.

Advanced Vision and Imaging참고 문헌 52인용 수 9

한 줄 요약

이 논문은 저해상도 라이트 필드 입력에서 공간적 및 각도적 특징을 분리하고 점진적으로 융합하는 공간-각도 상호작용 네트워크인 LF-InterNet을 제안한다. 새로운 상호작용 메커니즘을 활용함으로써, 이전 방법보다 낮은 FLOPs를 기록하면서도 최신 기준 성능인 PSNR 및 SSIM 점수를 달성하여, 효율적인 엔드 투 엔드 처리로 고품질의 세부 정보 유지 재구성 가능.

ABSTRACT

Light field (LF) cameras record both intensity and directions of light rays, and capture scenes from a number of viewpoints. Both information within each perspective (i.e., spatial information) and among different perspectives (i.e., angular information) is beneficial to image super-resolution (SR). In this paper, we propose a spatial-angular interactive network (namely, LF-InterNet) for LF image SR. Specifically, spatial and angular features are first separately extracted from input LFs, and then repetitively interacted to progressively incorporate spatial and angular information. Finally, the interacted features are fused to superresolve each sub-aperture image. Experimental results demonstrate the superiority of LF-InterNet over the state-of-the-art methods, i.e., our method can achieve high PSNR and SSIM scores with low computational cost, and recover faithful details in the reconstructed images.

연구 동기 및 목표

• 기존의 라이트 필드 초해상도 방법들이 4차원 라이트 필드에서 공간적 및 각도적 정보를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 사용되지 않는 뷰로부터의 상호보완적 정보를 간과하는 두 단계 또는 뷰 선택 기반 접근 방식의 비효율성과 열등한 성능을 극복하기 위해.
• 각 하위 조리개 이미지 내의 공간적 맥락과 다수의 뷰 간의 각도 일관성을 동시에 활용하는 딥 러닝 프레임워크를 설계하기 위해.
• 낮은 계산 비용과 실제 환경에서의 열악한 조건에 대한 강건성을 확보하면서 고해상도 라이트 필드 재구성을 달성하기 위해.

제안 방법

• 입력 라이트 필드에서 공간적 및 각도적 특징을 별도로 추출할 수 있도록 이중 브랜치 특징 추출기를 도입하여 특징 분리 기능을 구현한다.
• 다양한 단계에서 번갈아가며 공간적 및 각도적 맥락에 주의를 기울이는 방식으로 특징을 점진적으로 개선하는 공간-각도 상호작용 모듈을 설계한다.
• 상호작용 메커니즘이 공간적 및 각도적 표현 간의 이중 방향 정보 흐름을 허용하여, 모델 깊이를 크게 늘리지 않더라도 특징 표현을 향상시킨다.
• 최종 융합된 특징은 공유된 초해상도 헤드를 사용하여 엔드 투 엔드 방식으로 고해상도 하위 조리개 이미지를 재구성하는 데 사용된다.
• 재구성된 이미지의 구조적 및 질감 세부 정보를 유지하기 위해 인지적 손실과 콘텐츠 손실을 함께 학습에 활용한다.
• 효율성 최적화를 위해 아키텍처를 설계하여 낮은 FLOPs와 작은 모델 크기(1.51M–1.66M 파라미터)를 확보하면서도 높은 성능 유지를 달성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 라이트 필드 이미지의 공간적 및 각도적 정보를 초해상도 작업에서 효과적이고 효율적으로 활용할 수 있는가?
• RQ2 점진적인 공간-각도 특징 상호작용은 공간적 및 각도적 특징을 별도 또는 순차적으로 처리하는 것과 비교해 어떤가?
• RQ3 통합된 네트워크 아키텍처는 재구성 품질과 계산 효율성 측면에서 두 단계 또는 뷰 선택 기반 방법을 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 학습 중에 볼 수 없었던 실제 환경에서의 열악한 조건에 대해 제안된 방법은 얼마나 잘 일반화되는가?

주요 결과

• 2× 초해상도 벤치마크에서 LF-InterNet은 PSNR 42.36 dB, SSIM 0.985를 기록하여 RCAN, SAN, resLF, LFSSR, LF-ATO를 모두 능가한다.
• 4× 초해상도에서 메서드는 PSNR 37.12 dB, SSIM 0.960을 달성하여 LF-ATO 및 LFSSR을 포함한 모든 최신 기준 방법을 능가한다.
• 특징 깊이를 감소시켜도 높은 성능를 유지하며, 32의 낮은 특징 깊이에서도 PSNR 41.85 dB, SSIM 0.984를 기록하여 더 복잡한 모델과 유사한 성능를 확보한다.
• 실제 환경에서의 열악한 조건이 적용된 미사용된 UCSD 데이터셋에서 LF-InterNet은 모든 베이스라인보다 PSNR 및 SSIM 측면에서 뛰어난 일반화 성능를 보였다.
• HCIold_MonasRoom 데이터셋에서 다양한 시점 간의 PSNR 분포가 균형을 이루며 표준편차 0.26을 기록하여 뷰 간 일관성 있는 성능가지며.
• 시각적 결과에서는 LF-InterNet이 더 선명한 세부 정보와 더 적은 잡음 및 왜곡을 재구성하는 것으로 나타났으며, 특히 실제 환경에서의 열악한 조건에서 뚜렷한 우수성을 보였다.