[論文レビュー] Learning Sensor Multiplexing Design through Back-propagation

Ayan Chakrabarti|arXiv (Cornell University)|May 23, 2016

Optical measurement and interference techniques参考文献 21被引用数 29

ひとこと要約

この論文では、画像再構成用のニューラルネットワークと微分可能センサーレイヤーを共同で訓練することで、デジタルカメラにおける最適なカラーレンズ多重化パターンのエンドツーエンド学習を提案する。非微分可能なチャネル選択に対処するため、ソフトマックス温度のアニーリング戦略を用い、従来のベイヤー・モザイクと最近の最先端設計を上回る、優れたスパースなカラーパターンを学習する。この方法は、複数のノイズレベルにおいて再構成精度を向上させる。

ABSTRACT

Recent progress on many imaging and vision tasks has been driven by the use of deep feed-forward neural networks, which are trained by propagating gradients of a loss defined on the final output, back through the network up to the first layer that operates directly on the image. We propose back-propagating one step further---to learn camera sensor designs jointly with networks that carry out inference on the images they capture. In this paper, we specifically consider the design and inference problems in a typical color camera---where the sensor is able to measure only one color channel at each pixel location, and computational inference is required to reconstruct a full color image. We learn the camera sensor's color multiplexing pattern by encoding it as layer whose learnable weights determine which color channel, from among a fixed set, will be measured at each location. These weights are jointly trained with those of a reconstruction network that operates on the corresponding sensor measurements to produce a full color image. Our network achieves significant improvements in accuracy over the traditional Bayer pattern used in most color cameras. It automatically learns to employ a sparse color measurement approach similar to that of a recent design, and moreover, improves upon that design by learning an optimal layout for these measurements.

研究の動機と目的

• 画像再構成のためのデータ駆動型共同設計を可能にする：センサーメジャーメントパターンと計算推論アルゴリズムの最適化。
• 離散的センサーフィルター選択の非微分性を克服するため、温度アニーリングを用いた微分可能なソフトマックス操作としてモデル化する。
• ベイヤーや最近のスパース設計といった手作業で設計されたパターンを上回る、最適なカラーメジャーメントの空間的レイアウトを学習する。
• センサーパターンと再構成ネットワークの共同最適化が、さまざまなノイズ条件において高品質なカラー画像を生成することを示す。
• 専門家が設計した事前知識なしに、データから直接測定戦略を学習する可能性を検証する。

提案手法

• 各ピクセルにおけるC種類のカラーフィルターのうち、温度パラメータαを段階的に増加させることで硬い決定を促す、微分可能なソフトマックス操作としてセンサーレイヤーをモデル化する。
• センサーレイヤーの学習可能な重みが、各ピクセル位置での測定対象となる色チャネルの空間的パターンを定義する。
• 二重パスの再構成ネットワークが多重化測定値を処理する：一方のパスがK個の補間候補を生成し、もう一方がそれらを重み付けして最終的なカラー推定値を生成する。
• センサーレイヤーと再構成ネットワークの両方を、再構成損失（例：PSNR）を最小化するために、バックプロパゲーションと確率的勾配降下法を用いてエンドツーエンドで訓練する。
• 温度アニーリングスケジュールにより、ネットワークは最初に多様なパターンを探索し、その後に離散的で最適な構成に収束する。
• 本手法は、標準的なRGBカラーディジタルカメラのデモザイキングに適用され、センサーレイヤーがパナラマティックおよびスパースカラーメジャーメントを優先するように学習する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なセンサーレイヤーを用いて、最適なカラーマルチプレクシングパターンと画像再構成ネットワークを同時に学習できるか？
• RQ2 バックプロパゲーションによるエンドツーエンド訓練が、従来のまたは専門家が設計したセンサーパターンよりも優れた再構成性能を達成できるか？
• RQ3 明示的な教師信号なしに、ネットワークがスパースカラーレイアウトのような有益な測定戦略を自動で発見できるか？
• RQ4 学習されたパターンは、センサーメジャーメントのノイズレベルの変動に対してどれほど頑健か？
• RQ5 類似した測定原理を用いる最先端設計と比較して、共同学習フレームワークは優れた性能を示すか？

主な発見

• 提案手法は、全ノイズレベルにおいて従来のベイヤー・パターンを大きく上回る再構成PSNRを達成し、高ノイズ（STD=0.04）条件下で最大2.5 dBの向上を示した。
• 最近のスパース設計[4]と比較して、全分位数および全ノイズレベルでPSNRが向上し、一貫した0.2～0.5 dBの改善を示した。
• ネットワークは自動的にパナラマティック測定戦略を学習し、[4]と同様の戦略を採用するが、より最適な空間的レイアウトにより、色度ノイズとアーリアシングアーチファクトを低減した。
• ノイズレベルSTD=0.01で訓練されたモデルは、広範なノイズ条件（STD=0.0025～0.04）においても良好に一般化され、優れた性能を発揮した。
• ソフトマックス温度アニーリング戦略により、非微分可能なセンサーレイヤーのエンドツーエンド訓練が成功し、離散的で効果的な多重化パターンへの収束が可能になった。
• 本手法は、専門家による事前知識なしに、データからセンサーデザインを学習可能であり、カラーリコンストラクション分野で最先端の性能を達成した。