[논문 리뷰] Deep attention-based classification network for robust depth prediction

Ruibo Li, Ke Xian외 4명|arXiv (Cornell University)|2018. 07. 11.

Advanced Vision and Imaging참고 문헌 22인용 수 17

한 줄 요약

이 논문은 다양한 실내 및 실외 환경에서 강건한 단일 이미지 깊이 예측을 위한 딥 어텐션 기반 분류 네트워크(DABC)를 제안한다. 깊이 예측을 소프트맥스 출력을 가진 다중 분류 작업으로 공식화하고 채널별 어텐션 메커니즘을 통합하여 특징을 적응적으로 강조함으로써, 최신 기술 수준(SOTA)의 성능을 달성하였으며, ROB 2018 단일 이미지 깊이 예측 경연 대회에서 2등을 차지하였다.

ABSTRACT

In this paper, we present our deep attention-based classification (DABC) network for robust single image depth prediction, in the context of the Robust Vision Challenge 2018 (ROB 2018). Unlike conventional depth prediction, our goal is to design a model that can perform well in both indoor and outdoor scenes with a single parameter set. However, robust depth prediction suffers from two challenging problems: a) How to extract more discriminative features for different scenes (compared to a single scene)? b) How to handle the large differences of depth ranges between indoor and outdoor datasets? To address these two problems, we first formulate depth prediction as a multi-class classification task and apply a softmax classifier to classify the depth label of each pixel. We then introduce a global pooling layer and a channel-wise attention mechanism to adaptively select the discriminative channels of features and to update the original features by assigning important channels with higher weights. Further, to reduce the influence of quantization errors, we employ a soft-weighted sum inference strategy for the final prediction. Experimental results on both indoor and outdoor datasets demonstrate the effectiveness of our method. It is worth mentioning that we won the 2-nd place in single image depth prediction entry of ROB 2018, in conjunction with IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018.

연구 동기 및 목표

• 실내 및 실외 환경을 모두 포함한 다양한 환경에서 일반화 능력이 뛰어난 단일 모델을 훈련시켜 깊이 예측 문제를 해결한다.
• ScanNet(0–10 m)과 KITTI(2.5–80 m)와 같은 데이터셋 간의 깊이 범위 차이를 극복한다.
• 어텐션 메커니즘을 통해 장면별 특징 표현을 학습하여 이질적인 환경에서의 특징 구별 능력을 향상시킨다.
• 연속된 깊이 예측을 이산 분류 출력에서 재구성하기 위해 소프트 가중 평균 추론 전략을 사용하여 양자화 오차를 줄인다.
• 다른 도메인에 대해 재훈련 없이도 강건하게 작동하는 통합된 RGB에서 깊이로의 매핑을 개발한다.

제안 방법

• 연속된 깊이 값을 이산 간격으로 분할하여 깊이 예측을 다중 분류 문제로 공식화한다.
• 다중 해상도 깊이 맵을 위한 다중 스케일 특징을 통합하기 위해 스킵 연결이 있는 U-Net 유사 인코더-디코더 아키텍처를 사용한다.
• 장면 수준의 전반적 맥락을 나타내는 채널별 통계를 추출하기 위해 글로벌 평균 풀링 레이어를 도입한다.
• 장면에 맞는 표현을 위해 중요도가 높은 채널을 재가중하는 채널별 어텐션 메커니즘을 적용한다.
• 학습된 어텐션 가중치를 사용해 다중 스케일 특징을 융합하는 어텐션 특징 융합(AFA) 모듈을 통합한다.
• 이산 분류 출력에서 연속된 깊이 예측을 재구성하기 위해 소프트 가중 평균 추론 전략을 사용하여 양자화 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 통합된 파rameter 세트를 사용하여 실내 및 실외 환경에서 모두 강건한 깊이 예측 성능을 달성할 수 있는 단일 딥 러닝 모델이 존재하는가?
• RQ2 통합 프레임워크 내에서 다양한 장면 구조와 시각적 패턴에 대해 효과적으로 구별 가능한 특징을 추출할 수 있는가?
• RQ3 채널별 어텐션 메커니즘이 장면에 특화된 채널에 집중함으로써 특징 표현을 어느 정도 향상시킬 수 있는가?
• RQ4 깊이 이산화와 소프트 가중 평균 추론 전략을 조합하면 회귀 작업에서의 양자화 오차를 어느 정도 완화할 수 있는가?
• RQ5 회귀 기반 방법에 비해 분류 기반 접근 방식이 깊이 범위가 다른 데이터셋 간의 일반화 및 강건성 측면에서 우수한 성능을 낼 수 있는가?

주요 결과

• DABC 모델은 ROB 2018 경연의 단일 이미지 깊이 예측 트랙에서 2등을 차지하여 다양한 데이터셋 간의 뛰어난 일반화 능력을 입증하였다.
• ScanNet 검증 세트에서 분류 기반 DABC 모델은 sqRel 4.34, absRel 12.67, irmse 15.93, imae 8.71을 기록하여 회귀 기반 기준 모델을 능가하였다.
• KITTI 검증 세트에서 DABC 모델은 SILog 13.34, sqRel 1.95, absRel 8.01, irmse 9.58를 기록하여 회귀 기반 기준 모델보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 어텐션 메커니즘이 ScanNet에서 성능 향상에 크게 기여함을 확인하였으며(어 attention 없이 sqRel 4.93 vs. 어 attention 있음 4.34), KITTI에서는 유사한 성능 유지를 보였다.
• 어텐션 맵의 시각화 결과, 고수준 특징에서 장면에 특화된 활성화 패턴이 뚜렷하게 나타나, 어텐션 메커니즘이 실내 및 실외 환경을 효과적으로 구분할 수 있음을 확인하였다.
• 혼동 행렬 분석 결과, DABC 모델은 특히 겹치는 깊이 범위(2.5–10 m)에서 낮은 오차율을 유지하여 실내 및 실외 데이터 간의 간섭을 줄였음을 보여주었다.