[논문 리뷰] Disentangled Latent Transformer for Interpretable Monocular Height Estimation

Zhitong Xiong, Sining Chen외 2명|arXiv (Cornell University)|2022. 01. 17.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 해석 가능한 단안 높이 추정(MHE)을 위한 분리 잠재 변환기(DLT) 네트워크를 제안한다. 다중 수준 해석—뉴런, 인스턴스, 기여도 분석—을 활용하여 딥 네트워크가 의미적 및 높이 선택적 표현을 어떻게 학습하는지 밝혀낸다. DLT 모델은 높이 추정과 비지도 의미 분할에서 최신 기술을 초월하는 성능을 달성하며, 더 높은 모델 해석 가능성과 더 낮은 계산 비용을 제공한다.

ABSTRACT

Monocular height estimation (MHE) from remote sensing imagery has high potential in generating 3D city models efficiently for a quick response to natural disasters. Most existing works pursue higher performance. However, there is little research exploring the interpretability of MHE networks. In this paper, we target at exploring how deep neural networks predict height from a single monocular image. Towards a comprehensive understanding of MHE networks, we propose to interpret them from multiple levels: 1) Neurons: unit-level dissection. Exploring the semantic and height selectivity of the learned internal deep representations; 2) Instances: object-level interpretation. Studying the effects of different semantic classes, scales, and spatial contexts on height estimation; 3) Attribution: pixel-level analysis. Understanding which input pixels are important for the height estimation. Based on the multi-level interpretation, a disentangled latent Transformer network is proposed towards a more compact, reliable, and explainable deep model for monocular height estimation. Furthermore, a novel unsupervised semantic segmentation task based on height estimation is first introduced in this work. Additionally, we also construct a new dataset for joint semantic segmentation and height estimation. Our work provides novel insights for both understanding and designing MHE models.

연구 동기 및 목표

• 단일 단안 위성 영상에서 높이를 예측하는 딥 네트워크의 표현을 다중 수준에서 분석함으로써, 어떻게 높이를 예측하는지 이해하는 것.
• 재해 대응 및 도시 모니터링에 핵심적인 임무인 단안 높이 추정(MHE)에서 모델의 해석 가능성 향상.
• 분리된 표현을 활용하여 더 컴act하고 신뢰성 있고 설명 가능한 딥 러닝 모델을 MHE에 설계하는 것.
• 높이 맵을 약한 감독으로 사용하여 새로운 비지도 의미 분할 작업을 도입함으로써, 고비용 픽셀 수준의 애너테이션에 대한 의존도를 감소시키는 것.
• 분류 및 높이 추정을 동시에 수행할 수 있는 새로운 벤치마크 데이터셋을 공개하여 분야 발전을 이끌 것.

제안 방법

• 뉴런 수준 분석을 통해 은닉 유닛의 선택성, 인스턴스 수준 분석을 통해 의미 클래스, 스케일, 공간적 맥락의 영향을 평가하고, 픽셀 수준 기여도 분석을 통해 중요한 입력 특징을 식별하는 다중 수준 해석 프레임워크를 제안한다.
• 의미 클래스와 높이 범위의 표현을 명시적으로 분리하는 DLT 아키텍처를 설계하여, 모델의 해석 가능성과 효율성을 향상시킨다.
• 높이 맵을 감독으로 사용하여 훈련하는 새로운 비지도 의미 분할 헤드를 도입하여 수동 애너테이션 없이 약한 지도 학습을 가능하게 한다.
• 잠재 공간에서 분리된 표현을 학습하기 위해 자기지도 대비 학습 전략을 적용하여 일반화 능력과 강인성을 향상시킨다.
• 스위인 변환기 블록을 백본으로 사용하고 지식 distillation을 적용하여 정확도 저하를 최소화하면서도 더 작고 효율적인 모델 버전으로 압축한다.
• 훈련 및 평가를 위한 의미 분할과 높이 추정 애너테이션을 통합한 새로운 데이터셋 WDC를 구축한다.

실험 결과

연구 질문

• RQ1 MHE 네트워크의 개별 뉴런은 다양한 의미 객체와 높이 범위에 어떻게 반응하는가?
• RQ2 의미 클래스, 스케일, 공간적 맥락과 같은 요소 중에서 높이 예측 성능에 가장 크게 영향을 주는 요소는 무엇인가?
• RQ3 단안 높이 추정에 대해 정확하고 해석 가능한 딥 러닝 모델을 설계할 수 있는가?
• RQ4 높이 맵은 원격 감시 분야에서 비지도 의미 분할에 대해 어느 정도의 약한 감독으로 기능할 수 있는가?
• RQ5 기본적인 변환기나 CNN에 비해 분리된 잠재 표현은 모델 성능과 해석 가능성에 어떻게 기여하는가?

주요 결과

• DLT 모델은 높이 추정에서 최신 기술을 달성하며, CNN 기반의 UNet 모델을 능가하고 스위인 변환기 기반 베이스라인과 동등하거나 초월한다.
• 제안된 DLT 모델은 WDC 데이터셋에서 비지도 의미 분할의 IoU 점수를 IIC의 0.157에서 0.306으로 상승시켜 MaskContrast, PiCIE, IIC를 크게 앞서며 성능을 높였다.
• MHE 네트워크의 은닉 유닛은 의미 클래스(예: 건물, 나무, 도로)와 높이 범위 양쪽 모두에 강한 선택성을 보이며, 분리된 내부 표현을 나타낸다.
• 의미 클래스, 객체 스케일, 공간적 맥락이 예측 정확도에 가장 큰 영향을 미치며, 분포 외 검출 성능에 상당한 영향을 준다.
• 분리된 잠재 설계 덕분에 16개 유닛의 DLT 버전이 고정밀도를 유지하면서도 계산 복잡도를 감소시켜 모델의 컴팩트함을 입증했다.
• 클래스 선택적 뉴런 활성화를 활용하여 분포 외 탐지 기능을 효과적으로 수행할 수 있어, 위험 감수성이 높은 응용 분야에서의 신뢰성을 향상시켰다.