[논문 리뷰] Learning Sensor Multiplexing Design through Back-propagation

Ayan Chakrabarti|arXiv (Cornell University)|2016. 05. 23.

Optical measurement and interference techniques참고 문헌 21인용 수 29

한 줄 요약

이 논문은 이미지 복원을 위한 신경망과 미분 가능한 센서 레이어를 함께 훈련시켜 디지털 카메라에서 최적의 컬러 센서 멀티플렉싱 패턴을 엔드 투 엔드로 학습하는 방법을 제안한다. 비가역적인 채널 선택 문제를 다루기 위해 소프트맥스 온도 안내 전략을 사용하며, 이는 비가역적인 선택을 미분 가능한 소프트맥스 연산으로 모델링함으로써, 전통적인 베이어 모자이크와 최근의 최신 기술 설계를 뛰어넘는 우수한 희박한 컬러 패턴을 학습한다. 이는 다양한 노이즈 수준에서 복원 정확도가 뛰어나다.

ABSTRACT

Recent progress on many imaging and vision tasks has been driven by the use of deep feed-forward neural networks, which are trained by propagating gradients of a loss defined on the final output, back through the network up to the first layer that operates directly on the image. We propose back-propagating one step further---to learn camera sensor designs jointly with networks that carry out inference on the images they capture. In this paper, we specifically consider the design and inference problems in a typical color camera---where the sensor is able to measure only one color channel at each pixel location, and computational inference is required to reconstruct a full color image. We learn the camera sensor's color multiplexing pattern by encoding it as layer whose learnable weights determine which color channel, from among a fixed set, will be measured at each location. These weights are jointly trained with those of a reconstruction network that operates on the corresponding sensor measurements to produce a full color image. Our network achieves significant improvements in accuracy over the traditional Bayer pattern used in most color cameras. It automatically learns to employ a sparse color measurement approach similar to that of a recent design, and moreover, improves upon that design by learning an optimal layout for these measurements.

연구 동기 및 목표

• 더 나은 이미지 복원을 위해 센서 측정 패턴과 계산 기반 추론 알고리즘을 데이터 기반으로 공동 설계할 수 있도록 하는 것.
• 이산적인 센서 필터 선택의 비가역성을 극복하기 위해 온도 안내를 통한 미분 가능한 소프트맥스 연산으로 모델링하는 것.
• 베이어 및 최근의 희박한 설계와 같은 수작업으로 만든 패턴을 뛰어넘는 최적의 공간적 레이아웃을 학습하는 것.
• 노이즈 조건이 다양할 때에도 센서와 복원 네트워크의 공동 최적화가 더 높은 품질의 컬러 이미지를 제공하는지 입증하는 것.
• 전문가가 설계한 사전 지식 없이 데이터에서 직접 측정 전략을 학습할 수 있는지 탐색하는 것.

제안 방법

• 각 픽셀에서 C개의 가능한 컬러 필터에 대해 미분 가능한 소프트맥스 연산으로 센서 레이어를 모델링하며, 온도 매개변수 α를 점진적으로 증가시켜 딱딱한 결정을 유도한다.
• 센서 레이어의 학습 가능한 가중치는 각 픽셀 위치에서 측정되는 컬러 채널의 공간적 패턴을 정의한다.
• 이중 경로 복원 네트워크가 멀티플렉스된 측정값을 처리한다: 한 경로는 K개의 보간 후보를 생성하고, 다른 경로는 이를 종합적인 컬러 추정치로 가중합산한다.
• 센서 레이어와 복원 네트워크로 구성된 전체 시스템은 복원 손실(예: PSNR)을 최소화하기 위해 역전파와 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련된다.
• 온도 안내 스케줄링은 네트워크가 처음에는 다양한 패턴을 탐색하고, 이후에는 이산적이고 최적의 구성으로 수렴하도록 한다.
• 이 방법은 표준 RGB 컬러 카메라 디모자이킹에 적용되며, 센서 레이어는 펜차로매틱 및 희박한 컬러 측정을 우선시하도록 학습한다.

실험 결과

연구 질문

• RQ1 미분 가능한 센서 레이어를 사용해 최적의 컬러 멀티플렉싱 패턴과 이미지 복원 네트워크를 함께 학습할 수 있는가?
• RQ2 역전파를 통한 엔드 투 엔드 훈련이 기존 또는 전문가가 설계한 센서 패턴보다 더 나은 복원 성능을 낼 수 있는가?
• RQ3 명시적인 감독 없이도 네트워크가 희박한 컬러 샘플링과 같은 유익한 측정 전략을 자동으로 발견할 수 있는가?
• RQ4 학습된 패턴은 센서 측정값의 노이즈 수준이 다양할 경우에 얼마나 강건한가?
• RQ5 유사한 측정 원리를 사용하는 최신 기술 설계보다 공동 학습 프레임워크가 더 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 모든 노이즈 수준에서 전통적인 베이어 패턴보다 유의미하게 높은 복원 PSNR를 달성하며, 고노이즈 조건(표준편차=0.04)에서 최대 2.5 dB의 향상을 보였다.
• 모든 분위수와 노이즈 수준에서 [4]의 최근 희박한 설계보다 PSNR가 높으며, 일관된 0.2–0.5 dB의 향상이 있었다.
• 네트워크는 전문가가 설계한 사전 지식 없이도 펜차로매틱 측정 전략을 자동으로 학습했으며, [4]와 유사하지만 더 최적화된 공간적 레이아웃을 제공하여 색채성 노이즈와 앨리어싱 아티팩트를 감소시켰다.
• 표준편차=0.01에서 훈련된 모델은 광범위한 노이즈 조건(표준편차=0.0025에서 0.04)에서 잘 일반화되며 뛰어난 성능을 보였다.
• 소프트맥스 온도 안내 전략은 비가역적인 센서 레이어의 엔드 투 엔드 훈련을 성공적으로 가능하게 하여, 이산적이고 효과적인 멀티플렉싱 패턴으로 수렴하도록 했다.
• 이 방법은 전문가의 사전 지식 없이도 데이터에서 센서 설계를 학습할 수 있음을 입증하며, 컬러 이미지 복원 분야에서 최신 기술 수준의 성능을 달성했다.