[논문 리뷰] Visualization of Convolutional Neural Networks for Monocular Depth Estimation

Junjie Hu, Yan Zhang외 1명|arXiv (Cornell University)|2019. 04. 06.

Advanced Vision and Imaging참고 문헌 42인용 수 9

한 줄 요약

이 논문은 학습된 마스크 네트워크를 통해 단일 이미지에서 깊이를 추론하는 컨볼루션 신경망(CNNs)의 작동 방식을 시각화하기 위한 새로운 방법을 제안한다. 이 방법은 깊이 추정 정확도를 유지하면서도 관련성이 높은 픽셀의 최소 집합을 식별한다. 별도의 CNN을 사용해 깊이 추정 정확도를 유지하면서도 해석 가능한 희박한 마스크를 예측하며, CNN이 원시적인 강도나 에지 강도보다는 경계나 퇄점과 같은 기하학적 단서에 의존함을 드러낸다.

ABSTRACT

Recently, convolutional neural networks (CNNs) have shown great success on the task of monocular depth estimation. A fundamental yet unanswered question is: how CNNs can infer depth from a single image. Toward answering this question, we consider visualization of inference of a CNN by identifying relevant pixels of an input image to depth estimation. We formulate it as an optimization problem of identifying the smallest number of image pixels from which the CNN can estimate a depth map with the minimum difference from the estimate from the entire image. To cope with a difficulty with optimization through a deep CNN, we propose to use another network to predict those relevant image pixels in a forward computation. In our experiments, we first show the effectiveness of this approach, and then apply it to different depth estimation networks on indoor and outdoor scene datasets. The results provide several findings that help exploration of the above question.

연구 동기 및 목표

• CNN이 단일 이미지에서 깊이 추정을 수행하는 방식을, 사용하는 관련 이미지 영역을 시각화하여 이해하는 것.
• 자율주행 차량과 같은 안전이 중요한 응용 분야에서 CNN의 '블랙박스' 성격으로 인한 해석 가능성 문제를 해결하는 것.
• CNN이 선형 투영, 텍스처 기울기, 에지와 같은 인간의 단일 시각 깊이 단서를 유사하게 사용하는지 확인하는 것.
• 역전파 기반 시각화에서 흔히 발생하는 최적화 오염을 피하기 위해 안정적이고 정방향 계산 기반의 방법을 개발하는 것.
• 다양한 학습 손실이 깊이 추정에서 네트워크의 주의 패턴에 어떤 영향을 미치는지 평가하는 것.

제안 방법

• 전체 이미지에서 거의 동일한 깊이 맵을 생성할 수 있는 최소한의 픽셀 집합을 찾는 것과 같은 희박 최적화 문제로 관련 픽셀 식별을 수식화한다.
• 깊이 네트워크 N을 통해 역전파를 하지 않고도 정방향 전파를 통해 관련 픽셀 마스크를 예측할 수 있는 별도의 학습 가능한 CNN(G)을 사용한다.
• 마스크 입력에서 추정한 깊이 맵과 원본 전체 이미지의 깊이 맵 간의 차이를 최소화하면서도 마스크의 희박성을 강제하여 G를 학습한다.
• 마스크 M은 입력 이미지 I와의 원소별 곱셈 I ⊙ M을 통해 적용되며, 이는 고정된 깊이 네트워크 N에 입력된다.
• 깊이 맵 유사도(예: L1 또는 L2 손실)와 마스크의 희박성 정규화(예: M의 L1 노름)를 조합한 복합 손실을 사용해 G를 최적화한다.
• NYU-v2(실내) 및 KITTI(실외) 데이터셋에서 최신의 깊이 추정 네트워크에 이 방법을 적용하여 주의 패턴을 분석한다.

실험 결과

연구 질문

• RQ1 단일 이미지에서 깊이를 정확하게 추정하기 위해 CNN이 가장 중요한 것으로 간주하는 이미지 영역(픽셀)은 어디인가?
• RQ2 단일 시각 깊이 추정을 위한 CNN은 인간 시각이 사용하는 선형 투영, 텍스처 기울기, 퇄점과 같은 동일한 단서에 의존하는가?
• RQ3 학습 손실의 선택(예: 깊이, 기울기, 노멀 일致성 손실)이 네트워크의 특정 이미지 영역에 대한 주의에 어떤 영향을 미치는가?
• RQ4 목표 네트워크를 통해 역전파하지 않고도 깊이 신경망이 안정적이고 신뢰할 수 있게 희박하고 의미 있는 마스크를 예측할 수 있는가?
• RQ5 어느 정도의 작은 픽셀 부분 집합만으로도 깊이 추정을 유지할 수 있으며, 이러한 픽셀들이 공유하는 구조적 특징은 무엇인가?

주요 결과

• CNN은 전체 이미지의 10퍼센트 미만의 희박한 픽셀 집합만으로도 높은 정확도로 깊이를 추정할 수 있어, 전반적인 이미지 맥락이 항상 필요한 것은 아님을 보여준다.
• 네트워크는 경계를 자주 주시하지만, 경계 강도에 기반하지는 않는다. 대신 기하학적 구조를 전달하는 경계(예: 물체 경계)가 우선시된다.
• 실내 환경에서는 물체의 경계 외에도 물체 내부 영역까지 주목함으로써, 깊이 추론을 위해 물체의 형태와 크기를 인식함을 시사한다.
• 실외 환경에서는 항상 퇴측점 근처의 영역이 강조되며, 이는 투영 단서에 강하게 의존하고 있음을 나타내며, 기하학적 중요성 또는 깊이 손실 함수에서 오차 최소화의 영향 때문일 수 있다.
• 학습 중 기울기 및 노멀 일치성 손실이 포함되면, 더 구조적이고 기하학적으로 일관된 주의 마스크가 생성되며, 더 선명한 경계와 더 나은 물체 수준의 집중을 보인다.
• 제안된 마스크 예측 네트워크 G는 다양한 깊이 추정 아키텍처와 데이터셋에 대해 잘 일반화되며, 최적화 오염 없이 안정적이고 해석 가능한 시각화를 생성한다.