[論文レビュー] Transformable Bottleneck Networks

Kyle Olszewski, Sergey Tulyakov+3 more|arXiv (Cornell University)|Apr 13, 2019

Advanced Vision and Imaging参考文献 46被引用数 8

ひとこと要約

本稿では、エンコーダ・ボトルネック・デコーダフレームワークにおいて、3次元ボリューム的ボトルネックに直接空間変換を適用する、新しいCNNアーキテクチャであるTransformable Bottleneck Networks (TBNs) を提案する。マルチビューの監視を活用することで、TBNsは特徴量の空間的分離を学習し、剛体学習変換を超える、非一様スケーリングや非剛体ワープといった任意の3次元操作を可能にし、単一画像からの高精度な3次元再構成と最先端の新規ビュー合成を達成する。

ABSTRACT

We propose a novel approach to performing fine-grained 3D manipulation of image content via a convolutional neural network, which we call the Transformable Bottleneck Network (TBN). It applies given spatial transformations directly to a volumetric bottleneck within our encoder-bottleneck-decoder architecture. Multi-view supervision encourages the network to learn to spatially disentangle the feature space within the bottleneck. The resulting spatial structure can be manipulated with arbitrary spatial transformations. We demonstrate the efficacy of TBNs for novel view synthesis, achieving state-of-the-art results on a challenging benchmark. We demonstrate that the bottlenecks produced by networks trained for this task contain meaningful spatial structure that allows us to intuitively perform a variety of image manipulations in 3D, well beyond the rigid transformations seen during training. These manipulations include non-uniform scaling, non-rigid warping, and combining content from different images. Finally, we extract explicit 3D structure from the bottleneck, performing impressive 3D reconstruction from a single input image.

研究の動機と目的

• 深層学習を用いて画像コンテンツの細粒度で制御可能な3次元操作を可能にすること。
• 明示的な3次元監視を用いずにマルチビューの監視から空間的に分離された3次元特徴表現を学習すること。
• 2次元画像入力のみを用いて最先端の性能を達成する新規ビュー合成を実現すること。
• 学習されたボトルネック特徴量を用いて単一画像から意味のある3次元幾何構造を抽出すること。
• 学習時に使用された剛体変換を超える、直感的で非剛体の3次元画像操作を可能にすること。

提案手法

• 空間変換が3次元ボトルネックボリュームに直接適用されるエンコーダ・ボトルネック・デコーダアーキテクチャを採用する。
• マルチビューの監視により、ボトルネック特徴空間における空間的分離が促進される。
• 推論時においてボトルネックに空間変換（例：回転、スケーリング、ワープ）を適用することで、多様な3次元操作が可能になる。
• 複数の画像からのボトルネックを共通の座標フレームに変換し、統合することで表現を向上できる。
• 3次元監視を一切用いずに、画像セグメンテーション上でのボクセル占有分類器を訓練し、ボトルネックから3次元構造を抽出する。
• 合成された新規ビューを再エンコーディングすることで、高品質な3次元再構成がさらに向上する。

実験結果

リサーチクエスチョン

• RQ1 CNNは、明示的な3次元監視を用いずにマルチビューの2次元画像から空間的に分離された3次元特徴表現を学習できるか？
• RQ2 学習されたボトルネックに任意の非剛体3次元変換を適用することで、創造的な画像操作が可能になるか？
• RQ3 2次元画像の剛体視点変更のみで学習したネットワークが、推論時に非剛体変形に一般化できるか？
• RQ4 ボトルネック表現のみを用いて、単一画像から高品質な3次元再構成が達成できるか？
• RQ5 ボトルネック表現が、最先端の新規ビュー合成とインタラクティブな3次元編集の両方をサポートできるか？

主な発見

• TBNsは、ShapeNetデータセットにおいてL1およびSSIM指標の両方で、先行手法を上回る最先端の新規ビュー合成性能を達成した。
• ボトルネック特徴量は意味的な空間的構造を示しており、非一様スケーリング、ねじり、異なる画像からの部品の合成といった直感的で多様な3次元操作が可能になった。
• 局所的なワープや膨張を含む非剛体変形は、あらゆる視点からも妥当で一貫性のある3次元レンダリングを生成した。
• 3次元アノテーションを一切使用せず、画像セグメンテーション上でのみ学習されたボクセル占有分類器が、ボトルネックから3次元幾何構造を効果的に抽出し、3次元再構成を可能にした。
• TBNパイプライン全体により、高視覚的精度を維持したまま、リアルタイムでインタラクティブに3次元オブジェクトを実世界のシーンに合成・操作することが可能になった。
• 本手法は学習データを超えて一般化可能である：剛体変換のみで学習したネットワークでも、推論時に任意の非剛体3次元変換を適用可能だった。