[논문 리뷰] Multi-Plane Program Induction with 3D Box Priors

Yikai Li, Jiayuan Mao외 5명|arXiv (Cornell University)|2020. 11. 19.

Cell Image Analysis Techniques참고 문헌 42인용 수 5

한 줄 요약

이 논문은 상자 사전 정보를 사용하여 여러 2차원 평면과 그들의 3차원 자세에서 반복 패턴을 모델링함으로써 단일 이미지에서 프로그램 유사한 3차원 시점 표현을 유추하는 박스 프로그램 유도(BPI)를 제안한다. 신경망을 활용해 퇸점과 와이어프레임과 같은 시각적 단서를 탐지하고, 이를 기반으로 검색 기반 프로그램 유도를 수행함으로써 높은 구조적 정밀도를 유지하면서 3차원 인식 편집 기능인 인painting, 외삽, 시점 합성 등을 가능하게 한다.

ABSTRACT

We consider two important aspects in understanding and editing images: modeling regular, program-like texture or patterns in 2D planes, and 3D posing of these planes in the scene. Unlike prior work on image-based program synthesis, which assumes the image contains a single visible 2D plane, we present Box Program Induction (BPI), which infers a program-like scene representation that simultaneously models repeated structure on multiple 2D planes, the 3D position and orientation of the planes, and camera parameters, all from a single image. Our model assumes a box prior, i.e., that the image captures either an inner view or an outer view of a box in 3D. It uses neural networks to infer visual cues such as vanishing points, wireframe lines to guide a search-based algorithm to find the program that best explains the image. Such a holistic, structured scene representation enables 3D-aware interactive image editing operations such as inpainting missing pixels, changing camera parameters, and extrapolate the image contents.

연구 동기 및 목표

• 2차원 패턴과 3차원 평면 기하학을 동시에 모델링하여 단일 이미지에서 통합적이고 구조적인 시점 이해를 가능하게 한다.
• 이전의 프로그램 유도 방법이 단일 노출 평면을 가정하는 데 한계가 있음을 고려해, 다중 평면 시점 모델링을 위한 상자 사전 정보를 도입한다.
• 구조적 일致성을 유지하면서 인painting, 외삽, 시점 합성과 같은 3차원 인식 상호작용 이미지 편집 작업을 지원한다.
• 제약 검색과 프로그램 순위 매기기를 통해 잘못된 시각적 단서 예측에 대한 강건성을 향상시킨다.
• 합성 또는 단일 평면 도메인을 초월해 다양한 실내 및 실외 시점에 일반화할 수 있도록 한다.

제안 방법

• 상자 사전 정보를 가정하여, 여러 평면 표면(예: 벽, 바닥, 천장)으로 이루어진 닫힌 3차원 상자로 구성된 시점을 제약한다.
• 사전 훈련된 신경망을 사용해 중위치 시각적 단서(예: 퇸점, 와이어프레임 선, 주제 세그멘테이션)를 예측한다.
• 유추된 시각적 단서와 상자 사전 정보에 일치하는 모든 프로그램을 열거하여 후보 프로그램 공간을 구성한다.
• 픽셀 수준의 재구성 손실을 사용해 후보 프로그램을 순위 매김하여 이미지를 설명하는 최적의 프로그램을 선택한다.
• 프로그램 유도 기반의 PatchMatch 알고리즘을 활용해 입력 이미지 시야 범위를 초월한 외삽 및 새로운 시점 합성을 수행한다.
• 카메라 파라미터 조정, 누락 영역 메우기, 패턴 연장과 같은 작업을 위해 유추된 프로그램을 수정함으로써 상호작용 편집을 지원한다.

실험 결과

연구 질문

• RQ1 단일 이미지 시점 이해 시스템은 다중 표면에 걸쳐 반복적인 2차원 패턴과 3차원 평면 자세를 동시에 유추할 수 있는가?
• RQ2 상자 사전 정보는 다중 평면 시점 프로그램의 유추를 어떻게 제약하고 향상시킬 수 있는가?
• RQ3 학습된 시각적 단서(예: 퇸점, 와이어프레임)는 검색 기반 프로그램 유도 과정을 얼마나 잘 이끌 수 있는가?
• RQ4 프로그램 유도 기반 이미지 편집은 인painting 및 시점 외삽 과정에서 구조적 규칙성을 유지할 수 있는가?
• RQ5 시각적 단서 예측 오류에 대해 이 방법은 얼마나 강건한가? 사용자 상호작용은 실패를 완화시킬 수 있는가?

주요 결과

• BPI는 경쟁 기법들에 비해 61%의 인간 선호도를 기록하여 인painting 성능에서 뛰어난 성과를 보였다. Content-Aware Scaling(16%), InGAN(16%), Huang et al.(5%)를 크게 앞서며 성능을 뛰어넘었다.
• 시점 합성에서 BPI는 세 가지 카메라 궤적에 대해 각각 100%, 94%, 99.5%의 선호도를 기록하여 SynSin에 비해 뛰어난 구조적 보존 능력을 입증했다.
• 이 방법은 노이즈가 많은 시각적 단서에 강건하다: 잘못된 예측이 있더라도 자동으로 퇸점을 보정하고 최적의 와이어프레임 후보를 선택할 수 있다.
• BPI는 실내 복도나 실외 건물과 같은 다양한 시점에 성공적으로 일반화되어, 다중 시점 입력 없이도 3차원 인식 편집을 가능하게 했다.
• 실패 사례는 주로 와이어프레임 오검출(예: 바닥-벽 접합부 누락), 고르지 않은 색상 평면의 잘못된 세그멘테이션, 비정상적인 기하학적 구조에서 기인하지만, 경량 사용자 입력으로 완화 가능하다.
• 유추된 프로그램은 입력 시점 외부로 패턴을 고해상도로 외삽할 수 있으며, SynSin과 같은 학습 기반 방법에서 흔히 발생하는 아티팩트를 피할 수 있었다.