[論文レビュー] Visualization of Convolutional Neural Networks for Monocular Depth Estimation

Junjie Hu, Yan Zhang+1 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Vision and Imaging参考文献 42被引用数 9

ひとこと要約

この論文は、学習されたマスクネットワークを通じて関連するピクセルの最小集合を特定することにより、畳み込みニューラルネットワーク（CNN）が単一画像から奥行きをどのように推論するかを可視化する新しい手法を提案する。このアプローチは、奥行き推定精度を保持したまま、スパースで解釈可能なマスクを予測する別個のCNNを用い、CNNが強度やエッジの強さではなく、エッジや消失点といった幾何的ヒントに依存していることを明らかにする。

ABSTRACT

Recently, convolutional neural networks (CNNs) have shown great success on the task of monocular depth estimation. A fundamental yet unanswered question is: how CNNs can infer depth from a single image. Toward answering this question, we consider visualization of inference of a CNN by identifying relevant pixels of an input image to depth estimation. We formulate it as an optimization problem of identifying the smallest number of image pixels from which the CNN can estimate a depth map with the minimum difference from the estimate from the entire image. To cope with a difficulty with optimization through a deep CNN, we propose to use another network to predict those relevant image pixels in a forward computation. In our experiments, we first show the effectiveness of this approach, and then apply it to different depth estimation networks on indoor and outdoor scene datasets. The results provide several findings that help exploration of the above question.

研究の動機と目的

• CNNが単眼画像からどのように奥行き推定を行うかを、使用する関連画像領域を可視化することで理解すること。
• 自律走行車などの安全に重要な応用分野におけるCNNの解釈不能性（ブラックボックス性）という課題に対処すること。
• CNNが視覚的ヒント（例：線形的消失、テクスチャ勾配、エッジ）を人間と同様に使用しているかどうかを特定すること。
• バックプロパゲーションに依存する可視化手法で一般的に生じる最適化アーチファクトを回避する、安定した前向き計算ベースの手法を開発すること。
• さまざまな訓練損失（例：奥行き、勾配、法線）が、ネットワークの注視領域に与える影響を評価すること。

提案手法

• 関連ピクセルの特定をスパース最適化問題として定式化する：完全な画像からの奥行きマップとほぼ同一の結果を出す最小限のピクセル集合を特定する。
• バックプロパゲーションを奥行きネットワークNを経由して行わないよう、別個の学習可能なCNN（Gと呼ぶ）を用いて、前向きパスで関連ピクセルマスクを予測する。
• マスク入力からの奥行きマップと元の完全画像からの奥行きマップの差を最小化するようにGを訓練するが、同時にマスクのスパarsityを強制する。
• マスクMは入力画像Iとの要素ごとの乗算（I ⊙ M）により適用され、固定された奥行きネットワークNに供給されるマスク付き入力が得られる。
• 奥行きマップ類似度（例：L1またはL2損失）とスパarsity正則化（例：MのL1ノルム）を組み合わせた複合損失を用いてGを最適化する。
• NYU-v2（屋内）およびKITTI（屋外）データセットにおける最先端の奥行き推定ネットワークにこの手法を適用し、注視パターンを分析する。

実験結果

リサーチクエスチョン

• RQ1 CNNが単眼画像から正確に奥行きを推定するために最も重要な画像領域（ピクセル）はどこか？
• RQ2 単眼奥行き推定用のCNNは、人間の視覚が用いるのと同じ単眼ヒント（例：線形的消失、テクスチャ勾配、消失点）に依存しているか？
• RQ3 訓練損失の選択（例：奥行き、勾配、法線）が、ネットワークの特定の画像領域への注視に与える影響はいかほどか？
• RQ4 ターゲットネットワークを逆伝播せずに、深層ニューラルネットワークがスパースで意味のあるピクセルマスクを信頼性高く安定して予測できるか？
• RQ5 わずかなピクセルのサブセットのみを用いて、奥行き推定をどの程度維持できるか。また、これらのピクセルが共有する構造的特徴は何か？

主な発見

• CNNは、画像全体の10％未満のスパースなピクセル集合のみを用いても高い精度で奥行きを推定可能であり、グローバルな画像コンテキストが常に必要ではないことを示している。
• ネットワークはエッジに頻繁に注視するが、エッジの強さに基づくのではなく、物体の境界など幾何的構造を伝えるエッジが優先される。
• 屋内シーンでは、物体の境界だけでなく、物体内部の領域に対しても注視が集中しており、奥行き推定に物体の形状やサイズ認識が関与していることが示唆される。
• 屋外シーンでは、消失点付近の領域が一貫して強調されており、パースヒントへの強い依存が示されている。これは、幾何的意義や奥行き損失関数における誤差最小化のための要因である可能性がある。
• 訓練段階で勾配および法線一貫性損失が含まれていると、より構造的で幾何的に整合性のある注視マスクが得られ、エッジが明確になり、オブジェクトレベルの注視が強化される。
• 提案されたマスク予測ネットワークGは、さまざまな奥行き推定アーキテクチャおよびデータセットに一般化可能であり、最適化アーチファクトを生じさせることなく、安定的かつ解釈可能な可視化を提供する。