[論文レビュー] SENSE: a Shared Encoder Network for Scene-flow Estimation

Huaizu Jiang, Deqing Sun+4 more|arXiv (Cornell University)|Oct 27, 2019

Advanced Vision and Imaging参考文献 63被引用数 7

ひとこと要約

SENSEは、光流、ステレオ視差、奥行き、セマンティックセグメンテーションを統合する1つのコンactモデルに統合する共通エンコーダーネットワークを提案する。タスク間で特徴を共有し、蒸留と自己教師あり損失を活用することで、880万パラメータ、1.5GBのGPUメモリで、光学的流れベンチマークで最先端の性能を達成。大規模なモデルに比べて速度と効率性に優れ、部分的にラベルが付与された現実世界のデータに対しても効果的に対応する。

ABSTRACT

We introduce a compact network for holistic scene flow estimation, called SENSE, which shares common encoder features among four closely-related tasks: optical flow estimation, disparity estimation from stereo, occlusion estimation, and semantic segmentation. Our key insight is that sharing features makes the network more compact, induces better feature representations, and can better exploit interactions among these tasks to handle partially labeled data. With a shared encoder, we can flexibly add decoders for different tasks during training. This modular design leads to a compact and efficient model at inference time. Exploiting the interactions among these tasks allows us to introduce distillation and self-supervised losses in addition to supervised losses, which can better handle partially labeled real-world data. SENSE achieves state-of-the-art results on several optical flow benchmarks and runs as fast as networks specifically designed for optical flow. It also compares favorably against the state of the art on stereo and scene flow, while consuming much less memory.

研究の動機と目的

• オクルージョンやセグメンテーションなどの重要なタスクで、地上真値のラベルが疎であったり欠落している現実世界のシーンフロー推定におけるデータ不足の課題に対処する。
• 光学的流れ、ステレオ視差、オクルージョン、セマンティックセグメンテーションという4つの密接に関連するタスクに共通するエンコーダーを共有することで、特徴表現とモデル効率性を向上させる。
• タスク間の相互作用を活用するため、ラベルが不完全な現実世界のデータに対しても効果的な学習を可能にするために、蒸留と自己教師あり損失項を導入する。
• 光学的流れ、視差、シーンフローのベンチマークで最先端の性能を達成するとともに、推論コストとメモリ使用量を低く抑えつつ、効率的な推論を実現する。

提案手法

• 光学的流れ、ステレオ視差、オクルージョン、セマンティックセグメンテーションの4つのタスクに共通するエンコーダーを用い、マルチタスク学習による特徴学習の向上とパラメータ効率性を実現する。
• タスク固有のデコーダーを共通エンコーダーに接続し、個々のタスクにおける柔軟な学習と推論を可能にする。
• ラベルが限られたタスク（例：セグメンテーションやオクルージョン）に対して、事前学習済みモデルを用いた蒸留損失を適用し、補助データセットからの知識を転送する。
• 自己教師あり損失により一貫性を強制する：変形された画像内の対応するピクセルは、外観（光度損失）およびセマンティッククラス（セマンティック一貫性損失）において類似しているべきであり、特にラベルなし領域（例：空）において顕著である。
• 教師あり損失、蒸留損失、自己教師あり損失の組み合わせにより学習を実施し、地上真値が疎であっても頑健な性能を達成する。
• 推論効率性を最適化し、KITTI画像上で光学的流れの推論が0.03秒、完全なシーンフローが0.15秒で実行可能である。

実験結果

リサーチクエスチョン

• RQ1 複数の関連するビジョンタスクに共通するエンコーダーを共有することで、シーンフロー推定における特徴表現とモデル効率性が向上するか？
• RQ2 蒸留と自己教師あり損失を効果的に組み合わせることで、部分的にラベルが付与された現実世界のデータに対する性能を向上させられるか？
• RQ3 統合されたネットワークが、既存のモデルよりもはるかに小さく高速であるにもかかわらず、光学的流れ、視差、シーンフローで最先端の性能を達成できるか？
• RQ4 光学的流れ、視差、オクルージョン、セグメンテーションといったタスク間の相互作用が、地上真値ラベルのない領域における耐性をどの程度向上させるか？

主な発見

• SENSEは、4つのタスクを同時に学習した場合、KITTI 2015で光学的流れの最先端性能を達成し、F1-occ誤差が11.19%に低下した。
• 4つのタスクを併用した場合、KITTI 2015における視差誤差（D1-occ）が2.59%にまで低下し、個別に学習したモデルを上回った。
• 4つのタスクを同時に学習した場合、セマンティックセグメンテーションのmIoUは48.25%に達し、マルチタスク学習による精度向上が示された。
• 光学的流れ用に880万パラメータ、完全なシーンフロー用に1340万パラメータを用い、GPUメモリは1.5GBに留め、FlowNet3（7.4GB）の20倍小さく、PSMNet（4.2GB）よりもはるかに効率的である。
• KITTI画像上で光学的流れの推論が0.03秒、完全なシーンフローが0.15秒で実行可能であり、専用のフローネットと同等の速度を達成した。
• アブレーションスタディにより、蒸留と自己教師あり損失を組み合わせた場合が最良の性能を示し、特に地上真値が欠落する空領域におけるアーチファクト低減に自己教師あり損失が不可欠であることが確認された。