[論文レビュー] Multi-Plane Program Induction with 3D Box Priors

Yikai Li, Jiayuan Mao+5 more|arXiv (Cornell University)|Nov 19, 2020

Cell Image Analysis Techniques参考文献 42被引用数 5

ひとこと要約

本稿では、ボックスプライアーや視覚的キューを用いて複数の2次元平面とその3次元ポーズにおける繰り返しパターンをモデル化することで、1枚の画像からプログラム的な3次元シーン表現を推論するボックスプログラム誘導（BPI）を提案する。ニューラルネットワークを用いて消失点やワイヤーフレームなどの視覚的キューを検出することで、検索ベースのプログラム誘導を実行し、構造的整合性を保った3次元認識可能な画像編集（例：穴埋め、外挿、ビュー合成）を可能にする。

ABSTRACT

We consider two important aspects in understanding and editing images: modeling regular, program-like texture or patterns in 2D planes, and 3D posing of these planes in the scene. Unlike prior work on image-based program synthesis, which assumes the image contains a single visible 2D plane, we present Box Program Induction (BPI), which infers a program-like scene representation that simultaneously models repeated structure on multiple 2D planes, the 3D position and orientation of the planes, and camera parameters, all from a single image. Our model assumes a box prior, i.e., that the image captures either an inner view or an outer view of a box in 3D. It uses neural networks to infer visual cues such as vanishing points, wireframe lines to guide a search-based algorithm to find the program that best explains the image. Such a holistic, structured scene representation enables 3D-aware interactive image editing operations such as inpainting missing pixels, changing camera parameters, and extrapolate the image contents.

研究の動機と目的

• 2次元パターンと3次元平面幾何を統合的にモデル化することで、1枚の画像からの包括的かつ構造的なシーン理解を実現すること。
• 従来のプログラム合成手法が1つの可視平面を仮定しているのを克服し、複数平面のシーンモデリングのためのボックスプライアーを導入すること。
• 穴埋め、外挿、ビュー合成といった3次元認識可能なインタラクティブな画像編集タスクを、構造的一致性を保ちながら支援すること。
• 制約付きの検索とプログラムランク付けにより、視覚的キューの予測がノイズ混じりや不正確であっても、その影響を軽減するロバストネスを向上させること。
• 合成的または単一平面のドメインにとどまらず、多様な屋内・屋外シーンへ一般化できること。

提案手法

• ボックスプライアーを仮定し、複数の平面的表面（例：壁、床、天井）によって形成される閉じた3次元ボックスとしてシーンを制約する。
• 事前学習済みのニューラルネットワークを用いて、消失点、ワイヤーフレーム線、被写体セグメンテーションなどのミドルレベルの視覚的キューを予測する。
• 推論された視覚的キューとボックスプライアーに整合するすべてのプログラムを列挙することで、候補プログラム空間を構築する。
• ピクセル単位の再構成誤差を用いて候補プログラムをランク付けし、画像を最もよく説明する最適なプログラムを選択する。
• プログラムガイドドのPatchMatchアルゴリズムを用いて、入力画像の視野外の領域を外挿・合成する。
• 推論されたプログラムを変更することで、カメラパラメータの変更、欠損領域の埋め込み、パターンの延長といったインタラクティブ編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像からのシーン理解システムは、複数の表面にまたがる繰り返しパターンと3次元平面ポーズを同時に推論できるか？
• RQ2 ボックスプライアーは、複数平面のシーンプログラムの推論をどのように制約・改善できるか？
• RQ3 学習された視覚的キュー（例：消失点、ワイヤーフレーム）は、検索ベースのプログラム誘導プロセスをどの程度効果的にガイドできるか？
• RQ4 プログラムガイドドの画像編集は、穴埋めやビュー外挿において構造的レギュラリティを保てるか？
• RQ5 視覚的キューの予測誤りに対して、この手法はどの程度ロバストであり、ユーザーの操作で失敗を緩和できるか？

主な発見

• BPIは、競合手法と比較して、画像の穴埋めにおいて61%のヒューマンプレファレンスを達成し、Content-Aware Scaling（16%）、InGAN（16%）、Huang et al.（5%）を大きく上回った。
• ビュー合成において、3つのカメラ軌道でそれぞれ100%、94%、99.5%のプレファレンスを達成し、SynSinと比較して優れた構造的保存性を示した。
• ノイズ混じりの視覚的キューに対してもロバストである：誤った予測に対しても、自動的に消失点を修正し、最適なワイヤーフレーム候補を選択できる。
• BPIは多様なシーンへ一般化可能であり、屋内通路や屋外建物など、合成的または単一平面のドメインにとどまらないシーンに対しても、マルチビュー入力が不要な3次元認識可能な編集を可能にした。
• 失敗事例は主にワイヤーフレームの誤検出（例：床・壁接合部の欠落）、一様色の平面の誤セグメンテーション、不規則な幾何構造に起因するが、軽微なユーザー入力で緩和可能である。
• 推論されたプログラムにより、入力ビューを超えてパターンを高品質に外挿でき、SynSinのような学習ベース手法に見られるアーティファクトを回避できた。