[論文レビュー] CutDepth:Edge-aware Data Augmentation in Depth Estimation

Yasunori Ishii, Takayoshi Yamashita|arXiv (Cornell University)|Jul 16, 2021

Advanced Vision and Imaging参考文献 14被引用数 18

ひとこと要約

CutDepthは、単眼深度推定のためのエッジに配慮したデータ拡張手法を提案する。トレーニング中に、クリッピングされた深度マップをRGB画像に貼り付けることで、構造的一致性を保ちながら特徴の多様性を向上させる。この手法は、潜在空間の正則化により、CutMix や CutOut といった従来の拡張法よりも、客観的および主観的評価の両方で、特に長距離での深度推定精度を向上させる。

ABSTRACT

It is difficult to collect data on a large scale in a monocular depth estimation because the task requires the simultaneous acquisition of RGB images and depths. Data augmentation is thus important to this task. However, there has been little research on data augmentation for tasks such as monocular depth estimation, where the transformation is performed pixel by pixel. In this paper, we propose a data augmentation method, called CutDepth. In CutDepth, part of the depth is pasted onto an input image during training. The method extends variations data without destroying edge features. Experiments objectively and subjectively show that the proposed method outperforms conventional methods of data augmentation. The estimation accuracy is improved with CutDepth even though there are few training data at long distances.

研究の動機と目的

• 実世界のデータが限られる単眼深度推定の課題に対処するため、新しいデータ拡張戦略を導入すること。
• 最小限のトレーニングデータで、特に遠方の物体の深度推定性能を向上させること。
• 拡張処理中にエッジ特徴の構造的一致性を維持し、過度な幾何的歪みを避けること。
• 拡張入力を通じてRGBと深度表現を一致させることで、潜在空間を正則化すること。
• 多様性、類縁性、推定精度の観点から、本手法の有効性を評価すること。

提案手法

• CutDepthは、入力RGB画像のランダムな領域を、正解深度マップからの対応するクロップ領域に置き換えることでデータ拡張を実行する。
• 置き換え領域は、一様分布から抽出されたランダムパラメータ a, b, c, d によって決定され、ハイパーパラメータ p によってサイズが制御される。
• ブレンド処理はバイナリマスク M を用いて実行され、x′_s = M * x_s + (1 - M) * x_t と表され、RGBと深度特徴の空間的整合性が保証される。
• 入力と深度チャネルが異なる場合（C_s ≠ C_t）、チャネル次元に沿って連結されて互換性が維持される。
• 深度とRGBエッジの空間的対応を保つことでエッジ特徴が維持され、低レベル特徴の破壊が最小限に抑えられる。
• 本手法は、標準的な深度推定指標および潜在空間距離測定（RMSE, MAE, コサイン類似度）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 CutDepthは、従来のデータ拡張法と比較して、どのように深度推定精度を向上させるか？
• RQ2 CutDepthは、拡張処理中にエッジ特徴と構造的一致性をどの程度維持するか？
• RQ3 CutDepthは、潜在空間におけるデータ分布の多様性と類縁性にどのように影響を与えるか？
• RQ4 CutDepthは、RGBと深度特徴間の潜在表現を効果的に正則化できるか？
• RQ5 特に長距離深度推定において、CutDepthは低データ環境下でも性能を維持できるか？

主な発見

• KITTIデータセットにおいて、CutDepthはベースライン、CutOut、RE、CutMixの全指標で優れた性能を示し、Abs Rel (0.136)、log10 (0.055)、RMSE (0.278)、d1 (92.8%) で最高を記録した。
• p = 0.75 の場合、CutDepthは安定した性能を維持したが、CutOut や RE といった従来手法は p の増加に伴い著しく性能が低下した。
• トレーニングデータの25%のみを用いても、CutDepthは d1 スコア 89.7% を達成し、ベースライン (87.2%) や CutMix (88.9%) を上回った。
• 潜在空間におけるRGBと深度特徴間のコサイン距離は、CutDepthが最も高く（p=0.25 時に 0.37）、より強い特徴一致と正則化を示した。
• CutDepthは、データ分布における多様性と類縁性に優れ、ベースラインや従来手法と比較して、より広いスパンと元のデータからの小さなずれを示した。
• 主観的評価では、CutDepthがベースラインや CutMix よりも明確な物体輪郭と優れた長距離深度推定を実現したことが確認された。