[論文レビュー] Disentangled Latent Transformer for Interpretable Monocular Height Estimation

Zhitong Xiong, Sining Chen+2 more|arXiv (Cornell University)|Jan 17, 2022

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本論文は、解釈可能な単眼高さ推定（MHE）のための分離潜在変数Transformer（DLT）ネットワークを提案する。多層的な解釈——ニューロンレベル、インスタンスレベル、およびアトリビューション解析——を活用して、深層ネットワークがどのように意味的および高さ選択性の表層を学習するかを解明する。DLTモデルは、高さ推定および教師なしセマンティックセグメンテーションの両面で最先端の性能を達成し、既存手法を大きく上回るが、同時にモデルの解釈可能性が向上し、計算コストも低減される。

ABSTRACT

Monocular height estimation (MHE) from remote sensing imagery has high potential in generating 3D city models efficiently for a quick response to natural disasters. Most existing works pursue higher performance. However, there is little research exploring the interpretability of MHE networks. In this paper, we target at exploring how deep neural networks predict height from a single monocular image. Towards a comprehensive understanding of MHE networks, we propose to interpret them from multiple levels: 1) Neurons: unit-level dissection. Exploring the semantic and height selectivity of the learned internal deep representations; 2) Instances: object-level interpretation. Studying the effects of different semantic classes, scales, and spatial contexts on height estimation; 3) Attribution: pixel-level analysis. Understanding which input pixels are important for the height estimation. Based on the multi-level interpretation, a disentangled latent Transformer network is proposed towards a more compact, reliable, and explainable deep model for monocular height estimation. Furthermore, a novel unsupervised semantic segmentation task based on height estimation is first introduced in this work. Additionally, we also construct a new dataset for joint semantic segmentation and height estimation. Our work provides novel insights for both understanding and designing MHE models.

研究の動機と目的

• 単眼リモートセンシング画像から高さを予測する深層ニューラルネットワークが、複数のレベルでの表層を分析することによって、どのように動作するかを理解すること。
• 災害対応や都市モニタリングに不可欠な、単眼高さ推定（MHE）におけるモデルの解釈可能性を向上させること。
• 分離された表層を活用することで、よりコンactで信頼性が高く説明可能な深層学習モデルをMHE用に設計すること。
• 高さマップを弱教師信号として用いることで、高価なピクセルレベルのアノテーションに依存しない、新しい未学習セマンティックセグメンテーションタスクを導入すること。
• 分野の前進を図るため、セマンティックセグメンテーションと高さ推定の両方を対象とした新規ベンチマークデータセットを公開すること。

提案手法

• ニューロンレベルでの解剖的分析により隠れユニットの選択性を調査し、インスタンスレベルでの分析により意味的クラス、スケール、空間的文脈の影響を評価し、ピクセルレベルでのアトリビューションにより重要な入力特徴を同定する、多層的解釈フレームワークを提案する。
• 意味的カテゴリと高さ範囲の表層を明示的に分離する、分離潜在変数Transformer（DLT）アーキテクチャを設計し、解釈可能性とモデル効率性を向上させる。
• 高さマップを監視信号として用いることで、手動アノテーションが不要な弱教師あり学習が可能な、新しい未学習セマンティックセグメンテーションヘッドを導入する。
• 自己教師ありコントラスト学習戦略を採用し、潜在空間における分離された表層を学習することで、汎化性と耐障害性を向上させる。
• バックボーンとしてSwin Transformerブロックを採用し、知識蒸留を用いて精度の低下を最小限に抑えつつ、より小型で効率的なバージョンにモデルを圧縮する。
• 訓練および評価用に、セマンティックセグメンテーションと高さ推定の両方のアノテーションを備えた新規データセットWDCを構築する。

実験結果

リサーチクエスチョン

• RQ1 MHEネットワーク内の個々のニューロンは、異なる意味的オブジェクトや高さ範囲に対してどのように反応するか？
• RQ2 オブジェクトクラス、スケール、空間的文脈といった要因の中で、高さ予測性能に最も顕著な影響を与えるのはどれか？
• RQ3 単眼高さ推定に対して、正確かつ解釈可能な深層学習モデルを設計できるか？
• RQ4 高さマップは、リモートセンシング分野における未学習セマンティックセグメンテーションの弱教師信号として、どの程度有効に機能するか？
• RQ5 標準的なTransformerやCNNと比較して、分離潜在表層は、モデル性能と解釈可能性の両面でどの程度向上をもたらすか？

主な発見

• DLTモデルは、CNNベースのUNetモデルやSwin Transformerベースラインと比較して、高さ推定タスクで最先端の性能を達成している。
• 提案されたDLTモデルにより、WDCデータセット上での未学習セマンティックセグメンテーションのIoUスコアが、IICの0.157から0.306に向上し、MaskContrast、PiCIE、IICを著しく上回った。
• MHEネットワーク内の隠れユニットは、建物、木、道路などの意味的クラスおよび高さ範囲の両方に対して強く選択性を示しており、分離された内部表層が存在することが示された。
• 意味的クラス、オブジェクトスケール、空間的文脈が、予測精度に顕著な影響を与え、分布外検出性能にも大きな影響を及ぼしている。
• 分離潜在設計により、16ユニットのDLTバージョンを構築可能であり、計算複雑性を低減しながらも高い精度を維持でき、モデルのコンパクト性が実証された。
• クラス選択性のニューロン活性化を用いることで、リスク感受性の高いアプリケーション向けに信頼性の高い分布外検出が可能になった。