[論文レビュー] Propagating Confidences through CNNs for Sparse Data Regression

Abdelrahman Eldesokey, Michael Felsberg+1 more|arXiv (Cornell University)|May 30, 2018

Advanced Neural Network Applications被引用数 75

ひとこと要約

近接的に制約された正規化畳み込み層を用いてCNNの疎入力を処理し、層間を通じて連続的信頼度を伝搬させることで高密度出力と深度補完のピクセル単位信頼度マップを実現、パラメータ数を大幅に削減。

ABSTRACT

In most computer vision applications, convolutional neural networks (CNNs) operate on dense image data generated by ordinary cameras. Designing CNNs for sparse and irregularly spaced input data is still an open problem with numerous applications in autonomous driving, robotics, and surveillance. To tackle this challenging problem, we introduce an algebraically-constrained convolution layer for CNNs with sparse input and demonstrate its capabilities for the scene depth completion task. We propose novel strategies for determining the confidence from the convolution operation and propagating it to consecutive layers. Furthermore, we propose an objective function that simultaneously minimizes the data error while maximizing the output confidence. Comprehensive experiments are performed on the KITTI depth benchmark and the results clearly demonstrate that the proposed approach achieves superior performance while requiring three times fewer parameters than the state-of-the-art methods. Moreover, our approach produces a continuous pixel-wise confidence map enabling information fusion, state inference, and decision support.

研究の動機と目的

• Visionタスクにおける疎で不規則な入力データの回帰課題を解決する。
• 層間で連続信頼度を伝搬させる代数的に制約された正規化畳み込み演算子を開発する。
• ウェイトの非負制約を課して信頼度を有効に保ちつつ、データ誤差と出力信頼度をバランスさせた損失を設計する。
• 可搬性を保ちつつ受容野を拡張するよう重みを共有したマルチスケールネットワークを提案する。
• はるかに少ないパラメータでKITTI上の最先端深度補完を示し、融合と意思決定支援のためのピクセル単位信頼度マップを提供する。

提案手法

• 疎入力に対処するため信頼度マスクを備えた正規化畳み込みフレームワークを用いる。
• 訓練時に微分可能な非線形性（例: softplus）を用いて適用性（局在化）関数aを非負に学習する。
• 前方伝搬を Z= (sum over neighborhood of Z_prev * C_prev * Gamma(W)) / (sum over neighborhood C_prev * Gamma(W)) + eps と定義する。
• 信頼度を幾何比のグラミアン決定量を用いて伝搬させ、C_out = (sum over neighborhood C_prev * Gamma(W) + eps) / (sum over neighborhood Gamma(W)) と実装する。
• データ誤差（Huberノルム）とエポックとともに成長する信頼度項を組み合わせた損失を導入し、出力信頼度を爆発させずに最大化する。
• 信頼度マップを活用した正規化畳み込みによる階層的マルチスケールアーキテクチャを採用し、重みを共有する。

実験結果

リサーチクエスチョン

• RQ1 連続的信頼度をCNNの層間で疎データ回帰タスクへ伝搬させることは可能か。
• RQ2 代数的に制約された正規化畳み込みは疎入力での深度補完を改善し、パラメータ数を削減できるか。
• RQ3 信頼度情報を活用したマルチスケール融合が再構成精度と不確実性推定にどのような影響を与えるか。
• RQ4 KITTIにおける先行のスパースデプス補完手法と比べて、精度とモデルサイズはどうなるか。

主な発見

手法	MAE [m]	RMSE [m]	MRE	delta<1.01	delta<1.01^2	delta<1.01^3	#Params	出力信頼度
CNN	0.78	2.97	-	-	-	-	2.5e4	No
CNN+mask	0.79	2.24	-	-	-	-	2.5e4	No
SparseConv	0.58	1.80	0.035	0.33	0.65	0.82	2.5e4	No
Sparse-To-Dense	0.70	1.68	0.039	0.21	0.41	0.59	3.4e6	No
DCCS-1-Layer	0.83	2.77	0.054	0.30	0.47	0.59	1.0e3	No
DCCS-2-Layers	0.47	1.45	0.028	0.41	0.68	0.80	1.8e3	No
DCCS-3-Layers	0.43	1.35	0.024	0.48	0.73	0.83	1.7e3	No
NConv-1-Scale(16ch)	0.40	1.58	0.022	0.60	0.81	2.5e4	Yes
NConv-1-Scale(4ch)	0.42	1.59	0.022	0.59	0.80	2.0e3	Yes
NConv-HMS	0.38	1.37	0.021	0.60	0.81	4.8e2	Yes
NConv-SF-STD	0.53	3.0	0.037	0.59	0.80	4.8e2	No

• 提案されたNConv-HMSアーキテクチャはKITTI深度ベンチマークで最先端の結果を達成しつつ480パラメータしか使用していない。
• 単一スケールのNConv-1-Scale(16ch)はMAE, MRE, delta指標で比較手法を上回り、連続的信頼度の利点を二値マスクより示している。
• コンパクトなNConv-1-Scale(4ch)でも substantially fewer parametersで競争力のある性能を維持。
• 多スケール融合と信頼度対応正規化畳み込み（NConv-HMS）はRMSEを最良の多層手法に近づけつつパラメータ数を非常に低く抑える。
• 信頼度ベースのスケール融合（NConv-HMS）は信頼度情報を考慮しない標準融合（NConv-SF-STD）を大きく上回る。
• テストセットでは、DCCS-3-Layersを含む公表済みの最先端手法を超える総合性能を示す。