[논문 리뷰] NTIRE 2023 Challenge on Light Field Image Super-Resolution: Dataset, Methods and Results

Yingqian Wang, Longguang Wang외 4명|arXiv (Cornell University)|2023. 04. 20.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 라이트 필드 이미지 슈퍼레졸루션을 위한 NTIRE 2023 챌린지를 제시하며, 새로운 벤치마크 데이터셋(NTIRE-2023), 모델 개발을 위한 BasicLFSR 툴박스, 그리고 11개의 최고 성능을 기록한 방법에 대한 종합적인 평가를 제공한다. 챌린지는 최신 기술 수준의 성과를 달성하였으며, 수상한 방법은 이전 최신 기술 수준 대비 약 1 dB의 PSNR 향상을 이룩하였다. 이는 4차원 라이트 필드 데이터에서 공간적 및 각도 정보의 고도화된 융합을 딥러닝을 통해 구현한 결과이다.

ABSTRACT

In this report, we summarize the first NTIRE challenge on light field (LF) image super-resolution (SR), which aims at super-resolving LF images under the standard bicubic degradation with a magnification factor of 4. This challenge develops a new LF dataset called NTIRE-2023 for validation and test, and provides a toolbox called BasicLFSR to facilitate model development. Compared with single image SR, the major challenge of LF image SR lies in how to exploit complementary angular information from plenty of views with varying disparities. In total, 148 participants have registered the challenge, and 11 teams have successfully submitted results with PSNR scores higher than the baseline method LF-InterNet \cite{LF-InterNet}. These newly developed methods have set new state-of-the-art in LF image SR, e.g., the winning method achieves around 1 dB PSNR improvement over the existing state-of-the-art method DistgSSR \cite{DistgLF}. We report the solutions proposed by the participants, and summarize their common trends and useful tricks. We hope this challenge can stimulate future research and inspire new ideas in LF image SR.

연구 동기 및 목표

• 이중화된 이미지 슈퍼레졸루션(SR)에 대한 표준화된 벤치마크를 설정하기 위해 ×4 확대 요인과 이중화된 분해에 의한 라이트 필드(LF) 이미지 슈퍼레졸루션(SR)에 대해.
• 4차원 라이트 필드 데이터에서 공간적 및 각도 정보를 효과적으로 융합하는 핵심 과제를 해결하기 위해, 이는 단일 이미지나 스테레오 SR보다 더 복잡하다.
• 공동체 주도의 챌린지를 통해 저수준 시각과 3차원 시나리오 재구성 간의 연구를 이어가기 위해 교차 도메인 시각 분야를 자극하기 위해.
• BasicLFSR 툴박스를 통해 재현 가능하고 오픈소스 기반의 프레임워크를 제공하여 방법 개발 및 비교를 가속화하기 위해.
• 다양한 딥러닝 아키텍처를 LF-SR에서 평가하고 비교하여 효과적인 설계 패턴과 실용적인 개선 사항을 규명하기 위해.

제안 방법

• 챌린지는 검증 및 테스트를 위해 공개된 라이트 필드 데이터셋에서 유도된 새로운 데이터셋인 NTIRE-2023를 사용하며, 표준화된 이중화된 내림샘플링 방식을 ×4로 적용한다.
• LF-SR 모델의 데이터 로딩, 전처리 및 훈련을 단순화하기 위해 특화된 툴박스인 BasicLFSR을 제공하며, 일반적인 딥러닝 프레임워크를 지원한다.
• 참가자들은 공간적 및 각도 상관관계를 활용하기 위해 채널 주의 메커니즘, 잔차 학습, 그리고 트랜스포머 기반 모듈을 포함한 다양한 아키텍처를 활용하였다.
• 수상한 방법과 다른 방법들은 세부 정보 및 가장자리 구조를 유지하기 위해 L1 손실과 EPI 기울기 손실을 조합한 하이브리드 손실 함수를 사용하였다.
• 네트워크는 얕은 특징 추출과 잔차 블록 또는 주의 모듈을 통한 깊은 특징 학습을 포함하는 이중 단계 전략으로 훈련되었다.
• 프레임워크는 매크로패치 기반 이미지(MacPI) 처리를 지원하여, 재배열된 라이트 필드 데이터에 대해 2차원 컨볼루션 연산을 수행함으로써 효율적인 특징 학습을 가능하게 한다.

Figure 1 : An illustration of the center-view images in the developed NTIRE-2023 LF dataset. Both validation and test sets contain 16 real-world and 16 synthetic LFs, respectively.

실험 결과

연구 질문

• RQ1 4차원 라이트 필드 데이터에서 슈퍼레졸루션을 위한 공간적 및 각도 정보를 융합하는 데 가장 효과적인 아키텍처는 무엇인가?
• RQ2 특히 EPI 기울기 손실과 L1 손실이 LF-SR에서 인지적 품질과 구조적 정밀도에 어떤 영향을 미치는가?
• RQ3 주어진 표준 CNN 대비 주의 메커니즘과 잔차 학습이 LF-SR 성능 향상에 얼마나 기여하는가?
• RQ4 어떤 설계 패턴과 훈련 전략이 다양한 LF-SR 모델에서 일관된 성능 향상을 이끌어내는가?
• RQ5 제안된 벤치마크와 툴박스는 LF-SR 연구에서 재현 가능성과 공정한 비교를 어떻게 촉진하는가?

주요 결과

• 수상한 방법은 이전 최신 기술 수준인 DistgSSR 대비 약 1 dB의 PSNR 향상을 달성하여 뚜렷한 성능 향상을 입증하였다.
• 11개 팀이 베이스라인 LF-InterNet를 초월하는 PSNR 성능을 기록하여 공동체의 높은 참여도와 방법론적 혁신을 보여주었다.
• 상위 성능 방법들 사이의 공통된 추세로는 잔차 학습, 채널 주의, 그리고 L1과 EPI 기울기 손실을 조합한 하이브리드 손실 함수의 사용이 있었다.
• BasicLFSR 툴박스는 대부분의 참가자가 훈련 및 추론에 활용함으로써 모델 개발을 가속화하는 데 효과적이었다.
• NTIRE-2023 데이터셋은 다양하고 대표성이 있으며, 다양한 라이트 필드 장면과 복잡성에 걸쳐 강력한 일반화 능력을 보였다.
• 챌린지는 이제 LF-SR 연구 분야에서 최선의 실천 방법으로 여겨지는 핵심적인 아키텍처 및 훈련 개선 사항을 성공적으로 규명하였다.

Figure 2 : The OpenMeow Team: The network architecture of the proposed DistgEPIT.