[논문 리뷰] Group-wise Correlation Stereo Network

Xiaoyang Guo, Kai Yang외 3명|arXiv (Cornell University)|2019. 03. 10.

Advanced Vision and Imaging참고 문헌 30인용 수 7

한 줄 요약

이 논문은 그룹별 상관관계를 사용하여 비용 볼륨을 구성하는 스테레오 매칭 네트워크인 GwcNet을 제안한다. 이는 특징 유사도 측정을 향상시키면서도 파라미터 수와 계산 비용을 감소시킨다. 특징을 그룹으로 나누고 각 그룹 내에서 상호상관관계를 계산함으로써, Scene Flow, KITTI 2012, KITTI 2015에서 최신 기술 수준의 성능을 달성하며, 제한된 계산 자원 환경에서도 더 빠른 추론과 뛰어난 효율성을 확보한다.

ABSTRACT

Stereo matching estimates the disparity between a rectified image pair, which is of great importance to depth sensing, autonomous driving, and other related tasks. Previous works built cost volumes with cross-correlation or concatenation of left and right features across all disparity levels, and then a 2D or 3D convolutional neural network is utilized to regress the disparity maps. In this paper, we propose to construct the cost volume by group-wise correlation. The left features and the right features are divided into groups along the channel dimension, and correlation maps are computed among each group to obtain multiple matching cost proposals, which are then packed into a cost volume. Group-wise correlation provides efficient representations for measuring feature similarities and will not lose too much information like full correlation. It also preserves better performance when reducing parameters compared with previous methods. The 3D stacked hourglass network proposed in previous works is improved to boost the performance and decrease the inference computational cost. Experiment results show that our method outperforms previous methods on Scene Flow, KITTI 2012, and KITTI 2015 datasets. The code is available at https://github.com/xy-guo/GwcNet

연구 동기 및 목표

• 스테레오 매칭에서 전체 상관관계나 연결 기반 비용 볼륨의 한계를 해결하기 위해, 정보 손실이나 높은 파라미터 요구량 문제를 해결한다.
• 그룹별 상관관계를 통해 구조화된 특징 그룹을 활용하여 매칭 비용 표현을 향상시킨다.
• 추론 시간을 늘리지 않고도 3D 비용 볼륨 집계 네트워크의 성능과 효율성을 향상시킨다.
• 네트워크 깊이와 너비에 대한 민감도를 줄여 제한된 계산 자원 환경에서도 실시간 스테레오 매칭을 가능하게 한다.

제안 방법

• 방법은 그룹별 상관관계를 사용하여 비용 볼륨을 구성한다: 왼쪽 및 오른쪽 특징을 채널 차원에 따라 그룹으로 나눈다.
• 각 그룹에 대해, 모든 차원 오차 수준에서 대응하는 왼쪽 및 오른쪽 특징 그룹 간의 상호상관관계를 계산하여 다수의 매칭 비용 제안을 생성한다.
• 이러한 그룹별 상관관계 맵은 연결되어 4차원 비용 볼륨을 형성하며, 전체 상관관계보다 더 풍부한 유사도 정보를 유지한다.
• 3D 스탠드업 아워그라스 네트워크를 1×1×1 컨벌루션을 스키타크 연결에 도입하여 추론 비용을 감소시키면서 성능을 향상시켰다.
• 다중 척도 감독 전략을 사용하여 보조 출력을 도입함으로써, 더 나은 기울기 흐름을 확보하고 엔드 투 엔드로 학습한다.
• 방법은 Scene Flow, KITTI 2012, KITTI 2015에서 평가되었으며, 계산 비용 제한 조건에서의 분석 연구도 수행되었다.

Figure 1 : The pipeline of the proposed group-wise correlation network. The whole network consists of four parts, unary feature extraction, cost volume construction, 3D convolution aggregation, and disparity prediction. The cost volume is divided into two parts, concatenation volume ( Cat ) and grou

실험 결과

연구 질문

• RQ1 그룹별 상관관계가 전체 상관관계나 연결 기반 볼륨보다 더 나은 매칭 비용 표현을 제공할 수 있는가?
• RQ2 그룹별 상관관계는 스테레오 매칭에서 3D 집계 네트워크의 성능과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 제안된 아워그라스 네트워크 수정이 정확도를 향상시키면서도 추론 시간을 단축시키는가?
• RQ4 이전 방법들과 비교해 제한된 계산 자원 환경에서 모델의 성능은 어떻게 되는가?

주요 결과

• KITTI 2015 테스트 세트에서 GwcNet(Gwc40)는 5px 초과 오차 비율이 3.49%를 기록했으며, D1-all 기준으로 PSMNet보다 0.21% 향상되고 SegStereo보다 0.14% 향상되었다.
• KITTI 2012 테스트 세트에서 GwcNet(Gwc40-Cat24)는 5px 초과 오차 비율이 0.80%를 기록했으며, 3픽셀 오차 기준으로 PSMNet보다 0.19% 우수했다.
• 3D 집계 네트워크의 채널 수를 줄였을 때, GwcNet은 특히 저계산 환경에서 연결 기반 모델보다 유의미하게 높은 성능을 유지했다.
• 수정된 스탠드업 아워그라스 네트워크는 TITAN Xp GPU에서 추론 시간을 42.7ms 감소시켰으며, Scene Flow에서는 EPE를 7.8% 향상시키고 KITTI 2015에서는 5.8% 향상시켰다.
• 그룹별 상관관계 볼륨은 더 나은 일반화 능력과 네트워크 너비에 대한 낮은 민감도를 제공하여 실시간 스테레오 응용에 더 적합하다.

Figure 3 : Our model Gwc-Cat achieves much better performance than Cat when the number of channels decreases. The models with 32 base channels correspond to the Cat64 model (concatenation volume) and the Gwc40-Cat24 model (group-wise correlation and concatenation volume). The channels of the cost vo