[論文レビュー] Unsupervised Enhancement of Real-World Depth Images Using Tri-Cycle GAN

Alona Baruhov, Guy Gilboa|arXiv (Cornell University)|Jan 11, 2020

Advanced Vision and Imaging参考文献 28被引用数 5

ひとこと要約

本論文では、Intel RealSense R200 などの低価格センサーからの実世界の深度画像を、高品質なKinect 2からの非ペアデータを用いて教師なしに向上させるためのTri-Cycle GANフレームワークを提案する。より大きな生成器、深度固有のマスク付き損失、および非対称なドメインにおける情報保持を強制する新しいTri-Cycle損失を導入することで、標準的なCycle-GANに比べて、重度のノイズ、欠損ピxls、構造的アーチファクトの処理において顕著に優れた視覚的・定量的結果が得られる。

ABSTRACT

Low quality depth poses a considerable challenge to computer vision algorithms. In this work we aim to enhance highly degraded, real-world depth images acquired by a low-cost sensor, for which an analytical noise model is unavailable. In the absence of clean ground-truth, we approach the task as an unsupervised domain-translation between the low-quality sensor domain and a high-quality sensor domain, represented using two unpaired training sets. We employ the highly-successful Cycle-GAN to this task, but find it to perform poorly in this case. Identifying the sources of the failure, we introduce several modifications to the framework, including a larger generator architecture, depth-specific losses that take into account missing pixels, and a novel Tri-Cycle loss which promotes information-preservation while addressing the asymmetry between the domains. We show that the resulting framework dramatically improves over the original Cycle-GAN both visually and quantitatively, extending its applicability to more challenging and asymmetric translation tasks.

研究の動機と目的

• Intel RealSense R200 などの低価格センサーから得られる高度に劣化した実世界の深度画像を、クリアな教師データや解析的ノイズモデルが存在しない状況で向上させることに挑戦する。
• ペアデータを必要としない、低品質と高品質の深度ドメイン間での教師なしドメイン変換タスクとしての深度向上を定式化すること。
• 標準的なCycle-GANがこの非対称で複雑な劣化状況で失敗するのを防ぐために、アーキテクチャ的および損失関数的変更を導入すること。
• 重度のノイズ、欠損ピxls、非ガウス分布の劣化パターンがある中でも、構造的詳細を保持し、アーチファクトを最小限に抑える手法を開発すること。

提案手法

• 標準的な生成器に代えて、複雑な深度構造と劣化パターンをよりよく捉えるために、より大きく深いアーキテクチャを採用した変更版のCycle-GANフレームワークを用いる。
• 欠損ピxlsや非一様なデータに対応するため、深度固有のマスク付き類似度損失を導入し、トレーニング中のロバスト性を向上させる。
• 非線形一般化としてのモール・ペンローズ逆行列の一般化である、非対称ドメインにおける情報保持を可能にする新しいTri-Cycle損失を提案する。
• 実世界の深度画像（RealSense R200：低品質）とKinect 2（高品質）の非ペアデータを用いて、教師なし学習を行う。
• Tri-Cycle損失は、ドメインが非対称であっても、実画像をターゲットドメインに変換して元に戻した際に、主要な構造的情報を保持することを強制する。
• ペアの教師信号を一切必要とせず、敵対的損失、サイクル整合性、および新しいTri-Cycle損失を用いて、エンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 クリアな教師データやノイズモデルが存在しない状況で、教師なしドメイン変換フレームワークが実世界の深度画像を効果的に向上させることができるか？
• RQ2 なぜ標準的なCycle-GANは、重度の非ガウス的かつ非対称な劣化パターンを持つ深度画像の向上に失敗するのか？
• RQ3 逆写像が不適切または存在しない非対称なドメイン変換タスクにおいて、情報保持をどのように強制できるか？
• RQ4 アーキテクチャのスケーリングとドメイン固有の損失を導入することで、標準的なCycle-GANを上回るGANベースの深度向上性能をどの程度向上させられるか？
• RQ5 提案されたTri-Cycle損失は、重度に劣化した深度画像において、構造的詳細の保持とアーチファクトの低減の点で、標準的なサイクル整合性を上回るか？

主な発見

• 提案されたTri-Cycle GANは、視覚的品質と定量的指標の両面で、vanillaなCycle-GANを顕著に上回り、鋭いエッジと少ないアーチファクトを生成する。
• DROTデータセットでは、PNCCスコアが0.633を達成し、Sparse Depth Sensing（0.611）を上回り、ベースラインのCycle-GAN（0.213）を大きく上回った。
• Tri-Cycle損失の導入により、欠損ピxlsの減少と幾何的正確性の向上が顕著に見られ、特に重度に損傷を受けた領域で顕著であった。
• 深度固有のマスク付き損失のおかげで、強いノイズや欠損データがある領域でも、細部や物体の境界を効果的に保持できた。
• 実世界のシーンに良好に一般化され、高品質なKinect 2出力に類似したリアルで詳細な深度マップを生成した。
• 成功の一方で、モデルはたびたびKinect 2の典型的なアーチファクト（例：欠損ピxls）を再現しており、リアリズムと忠実度の間のトレードオフが示された。