[論文レビュー] Learning to Generate Synthetic 3D Training Data through Hybrid Gradient

Dawei Yang, Jia Deng|arXiv (Cornell University)|Jun 29, 2019

3D Shape Modeling and Analysis参考文献 62被引用数 4

ひとこと要約

本稿では、単一画像3D認識タスクにおける一般化性能の向上を目的として、合成3Dトレーニングデータ生成の自動最適化を実現するハイブリッド勾配法を提案する。有限差分による近似勾配と、アンロールドトレーニングを通じたバックプロパゲーションによる解析的勾配を組み合わせることで、3D形状やテクスチャなどの設計パラメータ（例：連続的ベクトルとして表現）を効率的に最適化する。深度推定およびインテンス画像分解ベンチマークにおいて、顕著な計算コスト削減を伴いながら、最先端の性能を達成した。

ABSTRACT

Synthetic images rendered by graphics engines are a promising source for training deep networks. However, it is challenging to ensure that they can help train a network to perform well on real images, because a graphics-based generation pipeline requires numerous design decisions such as the selection of 3D shapes and the placement of the camera. In this work, we propose a new method that optimizes the generation of 3D training data based on what we call "hybrid gradient". We parametrize the design decisions as a real vector, and combine the approximate gradient and the analytical gradient to obtain the hybrid gradient of the network performance with respect to this vector. We evaluate our approach on the task of estimating surface normal, depth or intrinsic decomposition from a single image. Experiments on standard benchmarks show that our approach can outperform the prior state of the art on optimizing the generation of 3D training data, particularly in terms of computational efficiency.

研究の動機と目的

• 手動によるグラフィックスパイプラインパラメータの設計が不適切な場合に、実画像に一般化しやすい合成3Dトレーニングデータを生成する課題に対処すること。
• 3Dデータ生成パイプラインのチューニングにおいて、ブラックボックス最適化手法の計算非効率性を克服すること。
• パイプラインの微分可能および非微分可能なコンponentに対して、解析的勾配と近似勾配を組み合わせることで、合成データ生成のエンドツーエンド最適化を可能にすること。
• 深度推定、表面法線予測、インテンス画像分解などのタスクにおいて、実世界のベンチマークでのネットワーク一般化性能を向上させること。
• ハイブリッド勾配最適化が、精度とトレーニング効率の両面で先行するブラックボックス手法を上回ることを示すこと。

提案手法

• 3D形状の構成、テクスチャ生成、照明などの設計意思決定を、連続的実数ベクトルβとしてパrameter化する。
• フォトリッチなレンダリングのため、解析的勾配が得られない状況では、複数のランダム方向での有限差分近似を平均化して、βから生成されたトレーニング画像Xへの勾配を推定する。
• アンロールドSGDトレーニングステップを通じたバックプロパゲーションにより、トレーニング画像Xからネットワーク性能Lへの解析的勾配を計算し、微分可能にする。
• 近似勾配（β → X）と解析的勾配（X → L）を組み合わせ、βのためのハイブリッド勾配∇βLを形成し、βの最適化に用いる。
• 形状生成のための微分可能サンプリングとパrameter化を可能にするために、確率的コンテキストフリーグラマー（PCFG）を用いて複雑な3D形状を表現する。
• スタックドアワーゲラスなどの標準的なディープラーニングネットワークを用いて、深度予測やインテンス画像分解などの具体的な下流タスクに対して、ハイブリッド勾配をβの最適化に適用する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド勾配最適化は、実画像に一般化しやすい合成3Dトレーニングデータの生成において、ブラックボックス手法を上回ることができるか？
• RQ2 近似勾配と解析的勾配を組み合わせることで、データ生成パイプラインにおける最適化効率はどのように向上するか？
• RQ3 3D形状およびテクスチャの微分可能パラメータ化は、下流の3D認識ネットワークの性能をどの程度向上させることができるか？
• RQ4 ハイブリッド勾配アプローチは、ランダムまたは基本的なランダムサーチベースラインと比較して、実世界のベンチマークでより良い一般化を達成できるか？
• RQ5 インテンス画像分解のような、マルチチャネル監視を伴う複雑なデータ生成タスクに対しても、本手法はスケーラブルか？

主な発見

• バーゼルフェイスモデルベンチマークでは、ハイブリッド勾配法が0.02256の相対差を達成し、ランダムβの0.03718と比較して39.5%の改善を示した。
• 深度推定において、ハイブリッド勾配はRMSE（線形）を0.0293まで低下させ、基本的なランダムサーチ（0.0299）とランダムβ（0.1014）を上回り、ランダムβと比較して70.8%の誤差削減を達成した。
• ShapeNetにおけるインテンス画像分解では、アルベドのRMSEをランダムβの0.198から0.189に、再構成誤差を0.169から0.150に低下させ、一貫した改善を示した。
• ブラックボックス最適化に比べてはるかに少ない評価回数で、すべての評価タスクで最先端の性能を達成した。計算効率の優位性が裏付けられた。
• ハイブリッド勾配最適化により、3D形状およびテクスチャ生成の複雑な手続き的パイプラインのエンドツーエンド最適化が可能となり、下流ネットワークの一般化性能に明確な向上が見られた。
• PCFGに基づく形状パラメータ化の導入により、複雑な3Dジオメトリの微分可能で連続的な最適化が可能になり、効果的な勾配ベースのチューニングが実現した。