[論文レビュー] SymmNet: A Symmetric Convolutional Neural Network for Occlusion Detection

Ang Li, Zejian Yuan|arXiv (Cornell University)|Jul 2, 2018

Advanced Vision and Imaging被引用数 8

ひとこと要約

本論文では、事前計算された視差または光流を用いずに、ステレオ画像および動画シーケンスにおける遮蔽を直接検出できる対称的畳み込みニューラルネットワーク、SymmNetを提案する。左-右対称性を活用して両眼の遮蔽を同時に推論することで、ステレオおよびモーション遮蔽検出ベンチマークで最先端の性能を達成し、Fスコアと頑健性の両面で先行手法を上回った。

ABSTRACT

Detecting the occlusion from stereo images or video frames is important to many computer vision applications. Previous efforts focus on bundling it with the computation of disparity or optical flow, leading to a chicken-and-egg problem. In this paper, we leverage convolutional neural network to liberate the occlusion detection task from the interleaved, traditional calculation framework. We propose a Symmetric Network (SymmNet) to directly exploit information from an image pair, without estimating disparity or motion in advance. The proposed network is structurally left-right symmetric to learn the binocular occlusion simultaneously, aimed at jointly improving both results. The comprehensive experiments show that our model achieves state-of-the-art results on detecting the stereo and motion occlusion.

研究の動機と目的

• 遮蔽検出における「鶏と卵の問題」に対処する。すなわち、視差または光流推定が不可欠であるが、遮蔽の存在によりそれ自体が困難であるという問題に。
• 視差や動きの計算を中間ステップとして用いずに、生画像ペアから直接遮蔽を学習することにより、その依存関係を排除する。
• 左・右の視点を統合的にモデル化する対称的ネットワークアーキテクチャにより、遮蔽検出の精度を向上させる。
• 統一されたフレームワークを用いて、ステレオおよびモーション遮蔽検出の両タスクへの一般化を示す。

提案手法

• SymmNetは、ステレオ画像ペアを同時に処理する、時計型の左-右対称畳み込みニューラルネットワークアーキテクチャを採用する。
• ネットワークはエンド・ツー・エンドに訓練され、視差や動き推定を経由せずに、画像ペアから直接二値の遮蔽マップを予測する。
• 左-右対称性により、視点間での遮蔽予測が一貫性を保ち、特徴学習と頑健性が向上する。
• 特に疎な遮蔽を含むデータセットにおいても、クラス不均衡に対処するため、ε = 1.2 のクラスウェイト付き交差エントロピー損失関数が使用される。
• 初期学習率を 1×10⁻³ に低減した50エポックのスケジュールに従い、Middleburyデータセットでファインチューニングが実施される。
• 連続する動画フレームを入力とすることで、同じ対称的設計を維持したまま、モーション遮蔽検出にアーキテクチャを適応させる。

実験結果

リサーチクエスチョン

• RQ1 事前計算された視差または光流に依存せずに、ステレオ画像から遮蔽を直接検出可能か？
• RQ2 畳み込みニューラルネットワークにおける左-右対称性が、二眼遮蔽検出の精度と一貫性をどのように向上させるか？
• RQ3 単一の対称的ネットワークが、ステレオおよびモーション遮蔽検出の両タスクに一般化可能か？
• RQ4 ベンチマークデータセットにおいて、SymmNetは最先端手法とFスコア、適合率、再現率の観点でどのように比較されるか？
• RQ5 対称的設計が、カメラ設定や照明条件の変化に対して頑健性を向上させるか？

主な発見

• SymmNetは、SceneFlowステレオ遮蔽ベンチマークでFスコア 0.873 を達成し、MC-CNN + LRC（Fスコア 0.802）などの先行手法を上回った。
• Middleburyデータセットでファインチューニングした後（SymmNet-MB）、MPI Sintelモーション遮蔽ベンチマークでFスコア 0.828 を達成し、比較されたすべての手法を上回った。
• ファインチューニングなしでも、最先端モデルと同等の結果を出力しており、データセット間での強力な一般化能力を示した。
• Tesla M40 GPU上では1枚の画像ペアあたり0.07秒で実行可能で、メモリ使用量はたった651MBにとどまり、リアルタイム応用に適している。
• MPI Sintelにおける定性的な結果では、複雑な動きシーケンスにおいても、細かく疎な遮蔽領域を正確に検出できた。
• 対称的設計により、特に照明やテクスチャの変化が激しい状況でも、一貫性と頑健性が向上した。