[論文レビュー] InSpaceType: Reconsider Space Type in Indoor Monocular Depth Estimation

Cho-Ying Wu, Quankai Gao+4 more|arXiv (Cornell University)|Sep 24, 2023

Advanced Vision and ImagingComputer Science被引用数 3

ひとこと要約

本稿では、屋内単眼深度推定のための高解像度RGBDデータセットInSpaceTypeを紹介し、既存手法における空間タイプごとの顕著な性能の不均衡を明らかにする。NYUv2で事前学習されたモデルが、図書館や大部屋のようなレアな空間や大規模な空間では著しく性能を発揮しないことが示され、訓練データおよび評価プロトコルにおける隠れたバイアスが、実運用における耐障害性と安全性に深刻な懸念をもたらすことを示している。

ABSTRACT

Indoor monocular depth estimation has attracted increasing research interest. Most previous works have been focusing on methodology, primarily experimenting with NYU-Depth-V2 (NYUv2) Dataset, and only concentrated on the overall performance over the test set. However, little is known regarding robustness and generalization when it comes to applying monocular depth estimation methods to real-world scenarios where highly varying and diverse functional extit{space types} are present such as library or kitchen. A study for performance breakdown into space types is essential to realize a pretrained model's performance variance. To facilitate our investigation for robustness and address limitations of previous works, we collect InSpaceType, a high-quality and high-resolution RGBD dataset for general indoor environments. We benchmark 12 recent methods on InSpaceType and find they severely suffer from performance imbalance concerning space types, which reveals their underlying bias. We extend our analysis to 4 other datasets, 3 mitigation approaches, and the ability to generalize to unseen space types. Our work marks the first in-depth investigation of performance imbalance across space types for indoor monocular depth estimation, drawing attention to potential safety concerns for model deployment without considering space types, and further shedding light on potential ways to improve robustness. See \url{https://depthcomputation.github.io/DepthPublic} for data and the supplementary document. The benchmark list on the GitHub project page keeps updates for the lastest monocular depth estimation methods.

研究の動機と目的

• 従来のベンチマークでしばしば無視される多様な屋内空間タイプにおける単眼深度推定モデルの耐障害性を調査すること。
• 解像度が低く、ノイズが多く、空間タイプの分解がないなど、NYUv2などの既存データセットの限界を解消すること。
• 12種類の屋内環境をカバーする高品質・高解像度のRGBDデータセットであるInSpaceTypeを構築し、階層的な空間タイプ分類を提案すること。
• InSpaceType上で12の最先端深度推定手法を評価し、空間タイプごとの性能変動を分析すること。
• 未観測の空間タイプへの一般化性能を検討し、性能不均衡の緩和戦略を評価すること。

提案手法

• 12のカテゴリ（例：個室、台所、図書館、大部屋）を有する階層的空間タイプ分類システムを提案し、モデル性能の細分化分析を可能にする。
• 最新のステレオカメラシステム（1242×2208解像度）を用いてInSpaceTypeを収集し、ノイズ低減された高品質で整合性の取れたRGBおよび深度画像を生成する。
• 12の最近の単眼深度推定モデル（教師ありおよび自己教師あり）をInSpaceType上でベンチマーク化し、空間タイプに跨るゼロショット性能を評価する。
• δ₁、AbsRel、RMSE、SqRelなどの指標を用いて性能のばらつきを分析し、空間タイプごとの分解とグループレベルの評価を実施する。
• 性能不均衡の低減を目的として、クラス再重み付け、クラスバランスサンプリング、メタラーニングの3つの緩和戦略を評価する。
• 空間タイプを3つの機能グループ（G1：家庭用、G2：オフィス用、G3：大規模・広々とした空間）に分類し、ゼロショット転移性能を測定することで、グループ間一般化を調査する。

Figure 1: Data samples of our InSpaceType Dataset.

実験結果

リサーチクエスチョン

• RQ1 単眼深度推定モデルの性能は、平均指標を超えて評価された場合、異なる屋内空間タイプでどのように変動するか？
• RQ2 NYUv2 や合成データセット（例：Matterport3D、Replica）といった既存のデータセットは、特定の空間タイプに偏向をもたらす程度はどの程度か？
• RQ3 再重み付け、サンプリング、メタラーニングといった標準的な緩和技術は、空間タイプに跨る性能不均衡を効果的に低減できるか？
• RQ4 特に機能的に異なるグループ間で知識を転送する場合、未観測の空間タイプへの一般化性能はどの程度高いか？
• RQ5 物体の多様性、シーンのごみの多さ、スケールの不一致といった要因が、空間タイプに跨る一般化を妨げる主な要因であるか？

主な発見

• NYUv2で事前学習されたモデルは顕著な性能不均衡を示す：δ₁は個室（ヘッドタイプ）で92.05に達するが、大部屋（テールタイプ）では54.93に低下し、一般的な空間に強くバイアスがかかることが示唆される。
• 未観測の空間タイプへの一般化は極めて困難であり、G1（家庭用）からG3（大規模・広々とした空間）に転送する際、δ₁は98.12（グループ内）から59.02（グループ間）に低下する。
• G3（大規模・広々とした空間）で学習すると、逆に小規模な部屋への一般化性能がわずかに向上する傾向が示され、複雑なシーンから単純なシーンへの転送性が一部存在することが示唆される。
• SimSIN や Hypersim といった合成データセットは、台所のような空間における現実世界のごみや小物の複雑さを捉えておらず、そのようなタイプでは性能が著しく劣る。
• 最も優れた緩和戦略（メタラーニング）でも、δ₁が最悪のグループ間ケース（G2 → Far）で66.01に低下するなど、依然として一般化の課題が残存している。
• InSpaceTypeは、現在の評価プロトコルが空間タイプに跨る重要な性能ばらつきを無視していることを明らかにし、深度モデルの実運用における安全性に懸念を呈している。

Figure 2: Statistics for InSpaceType evaluation set.