[論文レビュー] CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion

Xinjing Cheng, Peng Wang+2 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Vision and Imaging参考文献 41被引用数 15

ひとこと要約

CSPN++ は、画素ごとの適応的畳み込みカーネルサイズと反復回数を学習することで、文脈に適したおよびリソースに適した推論を可能にし、深度補完を向上させる。KITTI データセットにおいて 743.69 RMSE（2.07 iRMSE）の最先端性能を達成し、CSPN や他の最先端手法を上回るが、動的計算リソース予算の適応も可能である。

ABSTRACT

Depth Completion deals with the problem of converting a sparse depth map to a dense one, given the corresponding color image. Convolutional spatial propagation network (CSPN) is one of the state-of-the-art (SoTA) methods of depth completion, which recovers structural details of the scene. In this paper, we propose CSPN++, which further improves its effectiveness and efficiency by learning adaptive convolutional kernel sizes and the number of iterations for the propagation, thus the context and computational resources needed at each pixel could be dynamically assigned upon requests. Specifically, we formulate the learning of the two hyper-parameters as an architecture selection problem where various configurations of kernel sizes and numbers of iterations are first defined, and then a set of soft weighting parameters are trained to either properly assemble or select from the pre-defined configurations at each pixel. In our experiments, we find weighted assembling can lead to significant accuracy improvements, which we referred to as "context-aware CSPN", while weighted selection, "resource-aware CSPN" can reduce the computational resource significantly with similar or better accuracy. Besides, the resource needed for CSPN++ can be adjusted w.r.t. the computational budget automatically. Finally, to avoid the side effects of noise or inaccurate sparse depths, we embed a gated network inside CSPN++, which further improves the performance. We demonstrate the effectiveness of CSPN++on the KITTI depth completion benchmark, where it significantly improves over CSPN and other SoTA methods.

研究の動機と目的

• 画像の内容に応じて画素ごとに伝搬文脈を動的に適応させることで、深度補完の精度を向上させること。
• 画素ごとの最適なカーネルサイズと反復回数を学習することで、精度を損なわず計算コストを低減すること。
• 学習されたゲート機構を通じて、ノイズが多いまたは不正確なスパarselyな深度入力に対して耐性を高めること。
• 訓練および推論中に計算リソース予算に応じてモデルの複雑さを自動的に適応させること。
• 本手法が屋外（KITTI）および屋内（NYUv2）の両方の深度補完ベンチマークで一般化できることを示すこと。

提案手法

• CSPN++ は、画素ごとのカーネルサイズと反復回数を、事前に定義された構成から選択・組み立てるために、ソフトウェイト変数 αx と λx を用いて学習可能なハイパーパramーターとして定式化する。
• 文脈に適したバージョン（CA-CSPN）を導入し、学習されたアテンションを介して複数のカーネルサイズおよび反復ステップからの出力を統合することで、特徴表現を向上させる。
• リソースに適したバージョン（RA-CSPN）を提案し、学習されたソフトゲートを用いて画素ごとに最適なカーネルサイズと反復回数を1つ選択することで、計算コストを最小化する。
• ゲートネットワークをCSPN++に組み込み、信頼性に基づいてスパースな深度値を条件付きで保持することで、ノイズの多い入力に対する耐性を向上させる。
• 効率的な推論を促進するために、訓練中に遅延正則化項を導入し、可能な限り小さなカーネルサイズと少ない反復回数を促す。
• 訓練および推論中に予算丸め操作を用いることで、ユーザーが定義した計算リソース予算に自動的に適合できる。

実験結果

リサーチクエスチョン

• RQ1 固定構成と比較して、画素ごとの適応的カーネルサイズおよび反復回数選択は、深度補完の精度を向上させることができるか？
• RQ2 学習されたリソースに適した推論により、精度を維持または向上させながら計算コストを動的に低減できるか？
• RQ3 ゲートネットワークの統合は、ノイズが多いまたは不正確なスパースな深度入力に対する耐性にどのように影響するか？
• RQ4 本モデルは、KITTI（屋外）および NYUv2（屋内）のような異なるシーンやデータセットにどの程度一般化できるか？
• RQ5 性能の低下を伴わずに、特定の計算リソース予算制約に自動的にキャリブレーションできるか？

主な発見

• CA-CSPN は KITTI テストセットで 743.69 RMSE および 2.07 iRMSE を達成し、CSPN（1019.64 RMSE）および他のすべての SoTA 手法を上回る。
• RA-CSPN は、オリジナルの CSPN と比較して推論遅延を最大 5 倍短縮し、RMSE を 756.27 から 732.32 に改善した。
• ハードな計算リソース制約（CSPN の 35%）下で、RA-CSPN は期待反復回数を 0.439 から 0.303 に、期待カーネルサイズを 0.268 から 0.333 に変更し、リソース制限下でも高い精度を達成した。
• モデルは、物体の境界や遠くの表面のような複雑な領域に対して大きなカーネルと多くの反復回数を割り当て、単純な領域では小さなカーネルと少ない反復回数を割り当てるように学習した。
• ゲートネットワークは、ノイズの多いスパースな深度入力に対する耐性を顕著に向上させ、性能向上に寄与した。
• 本手法は NYUv2 に対しても良好に一般化され、屋内シーンにおいてベースライン手法を上回る一貫した性能向上を達成した。