[論文レビュー] Rethinking Skip Connections in Encoder-decoder Networks for Monocular Depth Estimation

Zhitong Lai, Haichao Sun+4 more|arXiv (Cornell University)|Aug 29, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、同一解像度の特徴量に限定せず、エンコーダーとデコーダーの全特徴量レベルを接続するフルスイープ接続ネットワーク（FSCN）を提案し、特徴量伝搬を向上させる。特徴量融合を改善するために、学習可能な重みとチャネルアテンションを備えたアダプティブ連結モジュール（ACM）を導入し、KITTIおよびNYU Depth V2データセットで最先端の性能を達成した。誤差は低く、精度指標は向上した。

ABSTRACT

Skip connections are fundamental units in encoder-decoder networks, which are able to improve the feature propagtion of the neural networks. However, most methods with skip connections just connected features with the same resolution in the encoder and the decoder, which ignored the information loss in the encoder with the layers going deeper. To leverage the information loss of the features in shallower layers of the encoder, we propose a full skip connection network (FSCN) for monocular depth estimation task. In addition, to fuse features within skip connections more closely, we present an adaptive concatenation module (ACM). Further more, we conduct extensive experiments on the ourdoor and indoor datasets (i.e., the KITTI dataste and the NYU Depth V2 dataset) for FSCN and FSCN gets the state-of-the-art results.

研究の動機と目的

• 同じ解像度の特徴量統合にとどまらないスイープ接続の見直しにより、深層エンコーダ・デコーダネットワークにおける情報損失を是正すること。
• エンコーダーおよびデコーダーからのマルチレベル特徴量を活用することで、モノクローラル深度推定における特徴量表現を向上させること。
• 標準的な連結処理よりも優れた特徴量統合メカニズムを、スイープ接続に対して設計すること。
• 標準的なモノクローラル深度推定ベンチマーク（KITTIおよびNYU Depth V2）で最先端の性能を達成すること。

提案手法

• 同じ解像度の特徴量に限定せず、エンコーダーとデコーダーの全空間的レベル間に密なスイープ接続を確立するフルスイープ接続ネットワーク（FSCN）を提案する。
• チャネルごとの重みを学習し、Squeeze-Excitation（SE）アテンションを適用することで、動的バランスをとる特徴量統合を可能にするアダプティブ連結モジュール（ACM）を導入する。
• 連結処理の前に、異なるレベルからの特徴量を適応的にスケーリングするための学習可能な連結重みを用いることで、統合品質を向上させる。
• 残差ブロックとスイープ接続を備えた、U-Netに類似したエンコーダ・デコーダアーキテクチャを採用し、深度推定を実現する。
• RGB-Dデータセットを用いて、深度範囲の正規化を施した上で、教師あり損失関数を用いてネットワークをエンドツーエンドで学習する。
• 標準的な指標（abs_rel、log10、rms、δ<1.25）を用いて、KITTIおよびNYU Depth V2データセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーの全特徴量レベル間の密なスイープ接続は、情報損失を低減し、深度推定精度を向上させることができるか？
• RQ2 学習可能な重みとアテンションメカニズムを用いたアダプティブ特徴量統合は、スイープ接続における標準的な連結処理と比較してどのように異なるか？
• RQ3 提案されたFSCNアーキテクチャは、標準的なスイープ接続を備えた既存のエンコーダ・デコーダネットワークを、モノクローラル深度推定ベンチマークで上回ることができるか？
• RQ4 アダプティブ連結モジュールにおける連結重みとSqueeze-Excitationモジュールの相対的寄与度はどの程度か？

主な発見

• KITTIデータセットでは、FSCNが最先端の性能を達成し、abs_relを（同じスイープ接続の）0.112から0.111に低下させ、δ<1.25を0.878から0.884に向上させた。
• NYU Depth V2データセットでは、FSCNが最も優れた結果を達成し、abs_rel = 0.111、log10 = 0.047、δ<1.25 = 0.884を達成し、先行手法を上回った。
• アブレーションスタディの結果、連結重みまたはSqueeze-Excitationモジュールのいずれかを削除すると性能が著しく低下し、両者の重要性が確認された。
• 両モジュールを備えたACMが最良の結果を達成し、Squeeze-Excitationモジュールの寄与度が学習可能な重み単体よりも顕著であった。
• フルスイープ接続機構は、ベースラインのスイープ接続なしでも驚くほど良好な性能を示す場合でさえ、標準的なスイープ接続を常に上回る性能を発揮した。
• 提案手法はデータセット間で良好に一般化され、屋外（KITTI）および屋内（NYU Depth V2）の両ベンチマークで最先端の性能を達成した。