[論文レビュー] Group-wise Correlation Stereo Network

Xiaoyang Guo, Kai Yang+3 more|arXiv (Cornell University)|Mar 10, 2019

Advanced Vision and Imaging参考文献 30被引用数 7

ひとこと要約

本稿では、グループ別相関を用いてコストボリュームを構築するステレオマッチングネットワークGwcNetを提案する。これにより、特徴量の類似度測定を向上させるとともに、パラメータ数と計算コストを削減する。特徴量をグループに分割し、各グループ内で相互相関を計算することで、Scene Flow、KITTI 2012、KITTI 2015の3つのベンチマークで最先端の性能を達成し、制限された計算リソース下でも高速な推論と優れた効率性を実現する。

ABSTRACT

Stereo matching estimates the disparity between a rectified image pair, which is of great importance to depth sensing, autonomous driving, and other related tasks. Previous works built cost volumes with cross-correlation or concatenation of left and right features across all disparity levels, and then a 2D or 3D convolutional neural network is utilized to regress the disparity maps. In this paper, we propose to construct the cost volume by group-wise correlation. The left features and the right features are divided into groups along the channel dimension, and correlation maps are computed among each group to obtain multiple matching cost proposals, which are then packed into a cost volume. Group-wise correlation provides efficient representations for measuring feature similarities and will not lose too much information like full correlation. It also preserves better performance when reducing parameters compared with previous methods. The 3D stacked hourglass network proposed in previous works is improved to boost the performance and decrease the inference computational cost. Experiment results show that our method outperforms previous methods on Scene Flow, KITTI 2012, and KITTI 2015 datasets. The code is available at https://github.com/xy-guo/GwcNet

研究の動機と目的

• ステレオマッチングにおけるフル相関や連結ベースのコストボリュームの限界、すなわち情報損失や高いパラメータ要件を解消すること。
• グループ別相関を用いて構造的な特徴群を活用することで、マッチングコスト表現の向上を図ること。
• 推論時間の増加を伴わずに、3次元コストボリューム集約ネットワークの性能と効率性を向上させること。
• ネットワークの深さや幅に依存する性能の感度を低減することで、制限された計算リソース下でもリアルタイムのステレオマッチングを可能にすること。

提案手法

• 本手法は、チャネル次元に沿って左・右特徴量をグループに分割し、グループ別相関を用いてコストボリュームを構築する。
• 各グループに対して、すべての視差レベルにわたり、対応する左・右特徴量グループ間の相互相関を計算し、複数のマッチングコスト提案を生成する。
• これらのグループ別相関マップを連結することで、フル相関よりも豊かな類似度情報を持つ4次元コストボリュームを形成する。
• 3次元スタックドアーゲイズネットワークを、ショートカット接続に1×1×1畳み込みを導入することで変更し、推論コストを低減するとともに性能を向上させる。
• 勾配の流れを改善するため、補助出力を備えたマルチスケール監視戦略を用いて、エンドツーエンドでネットワークを訓練する。
• 計算コストの制限を考慮した上で、Scene Flow、KITTI 2012、KITTI 2015で評価を行い、計算コストの限界に関するアブレーションスタディも実施する。

Figure 1 : The pipeline of the proposed group-wise correlation network. The whole network consists of four parts, unary feature extraction, cost volume construction, 3D convolution aggregation, and disparity prediction. The cost volume is divided into two parts, concatenation volume ( Cat ) and grou

実験結果

リサーチクエスチョン

• RQ1 グループ別相関は、フル相関や連結ベースのボリュームに比べて、より優れたマッチングコスト表現を提供できるか？
• RQ2 グループ別相関は、ステレオマッチングにおける3次元集約ネットワークの性能とパラメータ効率性にどのように影響を与えるか？
• RQ3 提案されたアーキテクチャ変更により、精度は向上し、推論時間が短縮されるか？
• RQ4 先行手法と比較して、制限された計算リソース下でのモデルの性能はどの程度か？

主な発見

• KITTI 2015のテストセットにおいて、GwcNet (Gwc40) は5px以上の視差誤差に対して3.49%の誤差率を達成し、D1-allにおいてPSMNetを0.21%、SegStereoを0.14%上回った。
• KITTI 2012のテストセットにおいて、GwcNet (Gwc40-Cat24) は5px以上の視差誤差に対して0.80%の誤差率を達成し、3ピixel誤差においてPSMNetを0.19%上回った。
• 3次元集約ネットワークのチャネル数を削減した場合、GwcNetは連結ベースのモデルと比較して顕著に優れた性能を維持した。特に計算リソースが限られた環境下で顕著であった。
• 変更を加えたスタックドアーゲイズネットワークは、TITAN Xp GPU上で推論時間を42.7ms短縮した一方で、Scene FlowではEPEを7.8%、KITTI 2015では5.8%向上させた。
• グループ別相関ボリュームにより、一般化性能が向上し、ネットワークの幅に依存する感度が低減した。その結果、リアルタイムステレオアプリケーションに適した構造となった。

Figure 3 : Our model Gwc-Cat achieves much better performance than Cat when the number of channels decreases. The models with 32 base channels correspond to the Cat64 model (concatenation volume) and the Gwc40-Cat24 model (group-wise correlation and concatenation volume). The channels of the cost vo