[論文レビュー] Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth Estimation

Ning Zhang, Francesco Nex+2 more|arXiv (Cornell University)|Nov 23, 2022

Image Processing Techniques and Applications被引用数 7

ひとこと要約

Lite-Mono は、自己教師付き単眼深度推定のための軽量ハイブリッド CNN-Transformer アーキテクチャを提案する。多スケールの局所的特徴抽出には連続拡張畳み込み（CDC）を、長距離の文脈を符号化するにはクロス・コバリアンス自己注意機構を用いた局所的・グローバル的特徴相互作用（LGFI）モジュールを採用している。KITTI データセットにおいて、Monodepth2 よりも 80% 少ないパラメータで最先端の精度を達成し、エッジデバイスにおける優れた効率性とパフォーマンスを示している。

ABSTRACT

Self-supervised monocular depth estimation that does not require ground truth for training has attracted attention in recent years. It is of high interest to design lightweight but effective models so that they can be deployed on edge devices. Many existing architectures benefit from using heavier backbones at the expense of model sizes. This paper achieves comparable results with a lightweight architecture. Specifically, the efficient combination of CNNs and Transformers is investigated, and a hybrid architecture called Lite-Mono is presented. A Consecutive Dilated Convolutions (CDC) module and a Local-Global Features Interaction (LGFI) module are proposed. The former is used to extract rich multi-scale local features, and the latter takes advantage of the self-attention mechanism to encode long-range global information into the features. Experiments demonstrate that Lite-Mono outperforms Monodepth2 by a large margin in accuracy, with about 80% fewer trainable parameters.

研究の動機と目的

• エッジデバイスへのデプロイに適した、軽量かつ高精度な自己教師付き単眼深度推定モデルの設計。
• CNN が長距離依存関係を捉えにくいため、標準的な Transformer の高コストを回避する。
• 教師なし深度ラベルを必要とせず、オクルージョンや移動物体を含む困難なシーンでも深度推定精度を向上させる。
• リアルタイム応用に適した、モデルサイズ、FLOPs、推論速度の良好なトレードオフを実現する。

提案手法

• パラメータを追加せずに多スケールの局所的特徴を抽出できる、連続拡張畳み込み（CDC）モジュールを導入。
• チャネル次元におけるクロス・コバリアンス自己注意機構を用いて、局所的特徴に効率的にグローバルな文脈を統合する局所的・グローバル的特徴相互作用（LGFI）モジュールを提案。
• エンコーダーステージ間での特徴伝搬と情報統合を向上させるために、クロスステージスキップ接続を採用。
• ダウンサンプリング時に空間解像度を保持するためのプールド連結を採用し、最小限のパラメータオーバーヘッドで情報損失を最小限に抑える。
• 各ステージで CDC ブロックに続く LGFI モジュールを持つハイブリッドエンコーダー・アーキテクチャを採用し、局所的およびグローバルな特徴学習のバランスを図る。
• 浅い層では小さな拡張率から始め、深い層で倍増させるように CDC ブロックの拡張率を最適化し、局所的詳細と多スケール認識の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 軽量な CNN-Transformer ハイブリッドアーキテクチャは、顕著に少ないパラメータで自己教師付き単眼深度推定において最先端のパフォーマンスを達成できるか？
• RQ2 提案された CDC モジュールは、モデルの複雑さを増さずに多スケールの局所的特徴抽出をどの程度向上させるか？
• RQ3 LGFI モジュールは、局所的特徴に長距離のグローバルな文脈を統合することで、どの程度パフォーマンスを向上させるか？
• RQ4 CDC モジュールにおける異なる拡張率の設定は、小・中サイズの物体の認識能力にどの程度影響を与えるか？
• RQ5 エッジプラットフォームにおけるモデル効率性、精度、推論速度のトレードオフはどのようなものか？

主な発見

• Lite-Mono は、トレーニング可能なパラメータが Monodepth2 よりも 80% 少ないにもかかわらず、KITTI データセットで絶対相対誤差（Abs Rel）が 0.107 と低く、優れた精度を達成した。
• RMSE は 4.561 に低下し、δ1 は 0.886 に上昇し、困難な深度推定タスクにおける優れた精度を示した。
• アブレーションスタディにより、LGFI ブロックを削除すると精度が著しく低下することが確認され、長距離の文脈を捉える上でその重要性が証明された。
• 最適化された拡張率（1, 2, 3 に続く 2, 4, 6）を有する CDC モジュールは、非常に大きな率を用いた設定よりも優れた性能を示し、局所的特徴認識の劣化を防いだ。
• Jetson Xavier プラットフォームでの推論により、Lite-Mono の効率性が確認され、エッジデプロイに適した、速度と精度の良好なトレードオフが実現された。
• Make3D データセットでも一般化性能が検証され、KITTI ベンチマークを越えたモデルのロバスト性が確認された。