[논문 리뷰] Monochrome and Color Polarization Demosaicking Using Edge-Aware Residual Interpolation

Miki Morimatsu, Yusuke Monno외 2명|arXiv (Cornell University)|2020. 07. 28.

Optical Polarization and Ellipsometry참고 문헌 26인용 수 5

한 줄 요약

이 논문은 새로운 엣지 검출기로 보다 우수한 가이드 이미지를 생성하는 엣지 인식 잔차 보간(EARI) 방법을 제안하여 단색 및 색상 편광 디모자이킹의 정확도를 크게 향상시킨다. 이 방법은 새로 구축한 12채널 색상-편광 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 PSNR 및 각도 오차 지표에서 기존 방법을 능가한다.

ABSTRACT

A division-of-focal-plane or microgrid image polarimeter enables us to acquire a set of polarization images in one shot. Since the polarimeter consists of an image sensor equipped with a monochrome or color polarization filter array (MPFA or CPFA), the demosaicking process to interpolate missing pixel values plays a crucial role in obtaining high-quality polarization images. In this paper, we propose a novel MPFA demosaicking method based on edge-aware residual interpolation (EARI) and also extend it to CPFA demosaicking. The key of EARI is a new edge detector for generating an effective guide image used to interpolate the missing pixel values. We also present a newly constructed full color-polarization image dataset captured using a 3-CCD camera and a rotating polarizer. Using the dataset, we experimentally demonstrate that our EARI-based method outperforms existing methods in MPFA and CPFA demosaicking.

연구 동기 및 목표

• 단일 촬영 방식을 통해 희박하고 필터링된 센서 데이터에서 고품질 편광 이미지 재구성 문제를 해결하기 위해.
• 잔차 보간에서 엣지 인식 가이드를 활용하여 단색 및 색상 편광 필터 어레이(MPFA/CPFA)의 디모자이킹 성능을 향상시키기 위해.
• 기존 보간 기반 방법이 엣지를 유지하지 못하고 자이퍼 또는 색상 번짐 등의 아티팩트를 유발하는 한계를 극복하기 위해.
• 디모자이킹 알고리즘 평가를 위한 공개 가능한 고품질 12채널 색상-편광 이미지 데이터셋을 제공하기 위해.
• 딥러닝이나 대규모 데이터에 의존하지 않고도 엣지 인식 가이드 이미지 생성이 보간 정밀도를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 엣지 인식 잔차 보간(EARI)을 사용하여, 네 방향(N, S, E, W)에서 강도 및 편광 엣지를 추정하고 방향성 가중치를 사용해 융합함으로써 가이드 이미지를 생성한다.
• 새로운 엣지 검출기가 스튜어트 매개변수 S₀, S₁, S₂를 기반으로 방향성 엣지 반응을 계산하여 가이드 이미지 제작을 위한 정확한 엣지 국소화를 가능하게 한다.
• 가이드 이미지는 엣지 신뢰도로 가중된 방향성 강도 추정치의 평균을 취하여 날카운 전환을 유지하면서도 균일한 영역은 부드럽게 처리한다.
• MPFA 디모자이킹의 경우, 엣지 인식 가이드 이미지를 사용해 잔차 보간을 적용하여 네 방향(0°, 45°, 90°, 135°)의 부족한 편광 값을 재구성한다.
• CPFA의 경우, 최소화된 라플라시안 색상 디모자이킹과 제안된 EARI 기반 편광 디모자이킹을 결합하며, 각 색상 채널의 편광 데이터를 별도로 처리한다.
• 이 방법은 딥러닝을 피하고, 잔차 보간에 효율적이고 경량의 엣지 인식 가이드를 활용하여 임베디드 시스템에 적합하다.

실험 결과

연구 질문

• RQ1 단색 편광 필터 어레이(MPFA)에서 엣지 인식 가이드 이미지 생성이 디모자이킹 성능을 크게 향상시킬 수 있는가?
• RQ2 MPFA 디모자이킹에서 제안된 EARI 방법은 기존 최신 기술 수준의 보간 기반 방법과 비교해 PSNR 및 각도 오차 측면에서 어떻게 성능을 내는가?
• RQ3 EARI 프레임워크는 더 희박하고 복잡한 샘플링 패턴을 가진 색상-편광 필터 어레이(CPFA)로 효과적으로 확장될 수 있는가?
• RQ4 고유의 고품질 12채널 색상-편광 데이터셋의 사용이 편광 디모자이킹 평가의 신뢰성에 어느 정도 기여하는가?
• RQ5 엣지 인식 보간은 편광 이미지 재구성에서 일반적인 아티팩트인 자이퍼 효과와 색상 번짐을 줄이는가?

주요 결과

• 제안된 EARI 방법은 I₀에 대해 47.39 dB, I₄₅에 대해 44.91 dB, I₉₀에 대해 47.84 dB, I₁₃₅에 대해 44.63 dB의 PSNR를 기록하여 모든 지표에서 기존 최고 성능 방법(PPID)을 능가한다.
• S₀ 이미지의 경우, EARI는 49.62 dB의 PSNR와 17.13°의 각도 오차를 기록하여 PPID의 48.94 dB 및 17.65°보다 유의미하게 향상되었다.
• PPID 대비 0.52°, 비엣지 인식 RI 대비 0.31°의 각도 오차 감소를 보이며 엣지 인식 가이드의 유용성을 입증한다.
• CPFA 데이터에서 EARI는 I₀에 대해 CPSNR 39.41 dB, 각도 오차 22.18°를 기록하여 PPID(39.37 dB, 22.40°)와 비엣지 인식 RI(39.35 dB, 22.32°)를 모두 능가한다.
• 시각적 결과는 EARI가 자이퍼 아티팩트와 색상 엣지 번짐을 효과적으로 억제하며 더 선명하고 정확한 AoP-DoP 시각화를 생성함을 보여준다.
• 새로 구축한 12채널 색상-편광 데이터셋(3-CCD 카메라와 회전 편광판을 사용해 40개의 장면 촬영)은 신뢰할 수 있는 벤치마킹을 가능하게 하며, 이 방법의 열등함을 검증한다.