[論文レビュー] An end-to-end CNN framework for polarimetric vision tasks based on polarization-parameter-constructing network

Yong Wang, Qi Liu+4 more|arXiv (Cornell University)|Apr 19, 2020

Optical Polarization and Ellipsometry参考文献 21被引用数 4

ひとこと要約

本稿では、1×1畳み込みを用いて偏光画像間の最適な画素単位の演算を学習する、偏光パラメータ構築ネットワーク（PPCN）を導入したエンドツーエンドのCNNフレームワークを提案する。このフレームワークは、オブジェクト検出性能を向上させ、Faster R-CNNと統合した場合、従来手法よりも顕著に高い平均平均精度（mAP）を達成する。

ABSTRACT

Pixel-wise operations between polarimetric images are important for processing polarization information. For the lack of such operations, the polarization information cannot be fully utilized in convolutional neural network(CNN). In this paper, a novel end-to-end CNN framework for polarization vision tasks is proposed, which enables the networks to take full advantage of polarimetric images. The framework consists of two sub-networks: a polarization-parameter-constructing network (PPCN) and a task network. PPCN implements pixel-wise operations between images in the CNN form with 1x1 convolution kernels. It takes raw polarimetric images as input, and outputs polarization-parametric images to task network so as to complete a vison task. By training together, the PPCN can learn to provide the most suitable polarization-parametric images for the task network and the dataset. Taking faster R-CNN as task network, the experimental results show that compared with existing methods, the proposed framework achieves much higher mean-average-precision (mAP) in object detection task

研究の動機と目的

• 従来のCNNが偏光情報の完全な活用に至っていない主な要因は、偏光画像間の有効な画素単位の演算が欠如していることである。
• 生の偏光画像から、タスク固有のビジョンタスクに最適な偏光パラメータを自動的に生成できる、学習可能で微分可能なフレームワークを設計すること。
• 偏光パラメータ構築ネットワークとタスク固有のネットワークを共同で訓練することで、性能を向上させること。
• 特にオブジェクト検出を含む、実世界の偏光ビジョンタスクにおけるフレームワークの有効性を実証すること。

提案手法

• フレームワークは、偏光パラメータ構築ネットワーク（PPCN）とタスクネットワークの2つのサブネットワークから構成され、エンドツーエンドで訓練される。
• PPCNは、生の偏光画像間の学習可能で微分可能な画素単位の演算を実行するために1×1畳み込みカーネルを用いる。
• PPCNの出力は、タスクネットワークに意味のある偏光特徴をエンコードした偏光パラメータ画像である。
• システム全体は共同で訓練され、PPCNが特定のタスクおよびデータセットに最も適した偏光表現を自己適応的に学習できる。
• オブジェクト検出のタスクネットワークはFaster R-CNNとして実装され、標準的な誤差逆伝播法により全フレームワークが最適化される。

実験結果

リサーチクエスチョン

• RQ1 学習可能でエンドツーエンドのCNNフレームワークは、生の偏光画像からビジョンタスクに有効な偏光特徴を効果的に抽出・利用できるか？
• RQ2 画素単位の偏光演算を活用しない従来の手法と比較して、偏光に配慮したCNNの性能はどのように異なるか？
• RQ3 共同で訓練された偏光パラメータ構築ネットワークは、下流のオブジェクト検出精度をどの程度向上させられるか？
• RQ4 提案されたフレームワークは、さまざまな偏光ビジョンタスクにわたって頑健で汎用性があるか？

主な発見

• 提案されたフレームワークは、従来手法と比較して、オブジェクト検出において顕著に高い平均平均精度（mAP）を達成する。
• PPCNにおける1×1畳み込みに基づく画素単位の演算の使用により、生の偏光画像を情報豊富な偏光パラメータに効果的かつ学習可能な形で変換できる。
• PPCNとタスクネットワークの共同訓練は、固定または手作業で設計された偏光パラメータ計算よりも優れた特徴表現学習をもたらす。
• 偏光ビジョンにおけるエンドツーエンド学習の実現可能性が示され、事前に定義された偏光特徴に依存する従来のアプローチを上回る性能を発揮する。