[논문 리뷰] Deep Demosaicing for Polarimetric Filter Array Cameras

Mara Pistellato, Filippo Bergamasco외 2명|PubMed|2022. 11. 24.

Optical Polarization and Ellipsometry인용 수 4

한 줄 요약

이 논문은 편광 필터 어레이(PFA) 카메라를 위한 새로운 CNN 기반 디모사이싱 네트워크인 PFADN을 제안한다. 이 네트워크는 2×2 필터 패턴을 유지하기 위해 모자이크드 컨볼루션을 사용하고, 소비자용 LCD 화면을 통한 실세계 데이터 수집 방법을 활용해 카메라별 비선형성을 학습한다. 평균 절대 오차(MAE)가 0.46°인 편광 각도 추정 성능을 기록하며, 기존의 알고리즘 기반 및 학습 기반 기준선을 모두 초월하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Polarisation Filter Array (PFA) cameras allow the analysis of light polarisation state in a simple and cost-effective manner. Such filter arrays work as the Bayer pattern for colour cameras, sharing similar advantages and drawbacks. Among the others, the raw image must be demosaiced considering the local variations of the PFA and the characteristics of the imaged scene. Non-linear effects, like the cross-talk among neighbouring pixels, are difficult to explicitly model and suggest the potential advantage of a data-driven learning approach. However, the PFA cannot be removed from the sensor, making it difficult to acquire the ground-truth polarization state for training. In this work we propose a novel CNN-based model which directly demosaics the raw camera image to a per-pixel Stokes vector. Our contribution is twofold. First, we propose a network architecture composed by a sequence of Mosaiced Convolutions operating coherently with the local arrangement of the different filters. Second, we introduce a new method, employing a consumer LCD screen, to effectively acquire real-world data for training. The process is designed to be invariant by monitor gamma and external lighting conditions. We extensively compared our method against algorithmic and learning-based demosaicing techniques, obtaining a consistently lower error especially in terms of polarisation angle.

연구 동기 및 목표

• 센서 고유의 비선형성(교차 간섭, 노이즈 등)을 고려하여 원시 PFA 카메라 이미지를 전체 해상도의 스토크스 벡터로 디모사이징하는 문제를 해결하기 위해.
• 합성 또는 대체 학습 데이터의 한계를 우회하기 위해 소비자용 LCD 화면에서 확보한 실세계 측정치를 활용하는 데이터 기반 접근법을 개발하기 위해.
• PFA 센서의 국소 2×2 필터 패턴을 새로운 모자이크드 컨볼루션 연산을 통해 명시적으로 모델링하는 CNN 아키텍처를 설계하기 위해.
• 기존의 알고리즘 및 딥러닝 방법을 뛰어넘어 디모사이징 정확도—특히 편광 각도 추정 정확도—를 향상시키기 위해.
• 낮은 비용의 데이터 수집을 통해 카메라별 맞춤 보정을 가능하게 하여 실세계 구현에 실용적인 접근법을 제공하기 위해.

제안 방법

• 새로운 모자이크드 컨볼루션 블록을 도입하여, PFA 필터의 국소 2×2 배열(0°, 45°, 90°, 135°)에 따라 다른 컨볼루션 커널을 적용함으로써 공간적 및 편광 구조를 유지한다.
• PFADN 네트워크는 원시 PFA 이미지를 엔드 투 엔드로 처리하여 전체 해상도의 강도 및 편광 각도 (AoLP) 지도를 출력한다.
• 실세계 학습 데이터는 소비자용 LCD 모니터를 사용하여 확보되며, 모니터 감마 및 시야각 비선형성 보정을 위한 캘리브레이션 방법이 적용된다.
• 데이터 수집 파이프라인은 필터 어레이를 제거하지 않은 채로 모니터 픽셀의 편광 상태가 PFA 센서에 정확히 대응되도록 보장하여 현실적인 학습을 가능하게 한다.
• 이중 출력 회귀 과제에 맞게 손실 함수를 조정하여 강도에 대한 PSNR와 편광 각도에 대한 MAE를 동시에 최소화하도록 네트워크를 학습시킨다.
• LCD의 알려진 편광 특성과 제어된 시야 기하학을 활용함으로써, 모니터 감마 및 조명 조건에 영향을 받지 않는다.

Figure 1: Our method demosaics a PFA camera image to produce a high-resolution intensity image (center) and angle of polarisation (right).

실험 결과

연구 질문

• RQ1 기존의 알고리즘 기반 방법과 비교해 볼 때, 데이터 기반 딥러닝 모델이 PFA 카메라에서 뛰어난 디모사이징 성능을 달성할 수 있는가?
• RQ2 특수 하드웨어나 진짜 편광 센서가 없이도 소비자용 LCD 화면을 사용해 실세계 학습 데이터를 효과적으로 확보할 수 있는가?
• RQ3 모자이크드 컨볼루션을 통해 PFA의 2×2 필터 패턴을 명시적으로 모델링하는 CNN 아키텍처가, 표준 컨볼루션 레이어보다 디모사이징 정확도에서 뛰어난 성능을 보일 수 있는가?
• RQ4 실세계 데이터로 학습된 모델이 교차 간섭, 노이즈 등의 센서 고유 비선형성을 얼마나 잘 포착할 수 있는가? 이는 편광 각도 추정 향상에 기여하는가?
• RQ5 다양한 장면과 카메라 인스턴스 간에 일반화 성능을 유지하면서도 강도 및 편광 각도 복원 정확도를 고수할 수 있는가?

주요 결과

• PFADN은 테스트 세트에서 편광 각도 추정의 평균 절대 오차(MAE)가 0.46°를 기록하며, 모든 경쟁 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 강도 이미지의 PSNR 오차는 32.31 dB로 최신 기술 수준의 업스케일링 방법과 유사한 수준이지만, 각도 오차는 상당히 낮게 유지되었다.
• 강도와 각도를 별도로 처리하는 FSRCNN 기반 방법과 비교해, 단일 통합 아키텍처로 구성된 PFADN은 더 높은 각도 정확도를 달성했다.
• 노이즈가 있는 입력 조건(Gaussian 노이즈 σN 최대 0.01)에서도 PFADN은 PSNR 및 각도 MAE 모두에서 뛰어난 성능 유지를 보이며, 열화에 대한 강건성을 입증했다.
• 정성적 결과에서는 PFADN이 가장자리 및 낮은 DOLP 영역에서 더 선명한 강도 이미지와 더 깔끔하고 노이즈가 적은 편광 각도 지도를 생성함을 확인했다.
• 모델이 카메라 고유의 비선형성을 효과적으로 포착함을 입증하였으며, 복잡한 장면에서도 Bicubic 및 강도 상관관계와 같은 알고리즘 기반 방법보다 일관되게 뛰어난 성능을 보였다.

Figure 2: Overview of the proposed data aquisition procedure. An LCD screen is observed in several different poses. Three images are acquired for each pose: (i) a Charuco board $I_{C_{i}}$ , (ii) a random sample from the DIV2K dataset $I_{R_{i}}$ and (iii) a black image. The black image is subtracte