[논문 리뷰] NeuForm: Adaptive Overfitting for Neural Shape Editing

Connor Z. Lin, Niloy J. Mitra외 3명|arXiv (Cornell University)|2022. 07. 18.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

NeuForm는 과적합된 단일 형태 표현과 일반화 가능한 형태 우선 정보를 적응적으로 융합하여 고해상도이면서 의미적으로 일관된 편집을 가능하게 하는 신경형 형태 편집 프레임워크를 제안한다. 지역 기하학적 신뢰도에 기반해 두 모델의 네트워크 가중치를 동적으로 가중함으로써, 그대로 유지된 영역에서는 미세한 디테일을 유지하면서도 편집되거나 손실된 영역에서는 타당하게 일반화하는 방식으로, 재구성, 편집, 형태 혼합 작업에서 최신 기술들을 능가한다.

ABSTRACT

Neural representations are popular for representing shapes, as they can be learned form sensor data and used for data cleanup, model completion, shape editing, and shape synthesis. Current neural representations can be categorized as either overfitting to a single object instance, or representing a collection of objects. However, neither allows accurate editing of neural scene representations: on the one hand, methods that overfit objects achieve highly accurate reconstructions, but do not generalize to unseen object configurations and thus cannot support editing; on the other hand, methods that represent a family of objects with variations do generalize but produce only approximate reconstructions. We propose NEUFORM to combine the advantages of both overfitted and generalizable representations by adaptively using the one most appropriate for each shape region: the overfitted representation where reliable data is available, and the generalizable representation everywhere else. We achieve this with a carefully designed architecture and an approach that blends the network weights of the two representations, avoiding seams and other artifacts. We demonstrate edits that successfully reconfigure parts of human-designed shapes, such as chairs, tables, and lamps, while preserving semantic integrity and the accuracy of an overfitted shape representation. We compare with two state-of-the-art competitors and demonstrate clear improvements in terms of plausibility and fidelity of the resultant edits.

연구 동기 및 목표

• 편집을 위한 신경형 형태 표현에서 고해상도 재구성과 일반화 사이의 상충 관계를 해결하기 위해.
• 미세 기하학적 디테일을 유지하면서도 타당한 새로운 구성으로 생성하는 의미 인식 기반의 아티팩트 없는 형태 편집을 가능하게 하기 위해.
• 과적합 모델의 장점(디테일 정확도)과 일반화 모델의 장점(미래의 구성에 대한 일반화 능력)을 부드럽고 아티팩트 없는 방식으로 융합하기 위해.
• 두 개의 서로 다른 신경형 표현을 공간적으로 적응적으로 융합할 수 있는 신경망 아키텍처를 설계하기 위해.

제안 방법

• NeuForm은 일반화 가능한 형태 네트워크와 과적합된 형태 네트워크 사이에 동일한 네트워크 구조와 학습 역사를 공유하는 하이브리드 아키텍처를 사용한다.
• 지역 기하학적 신뢰도와 데이터 가용성에 기반해 두 네트워크의 출력을 적응적으로 조합하는 학습 가능한 융합 필드를 도입한다.
• 출력이 아닌 네트워크 가중치를 보간함으로써 융합을 구현함으로써 부드러운 전이와 불연속성 방지를 보장한다.
• 과적합된 네트워크는 훈련 중에 정규화되어 국소적인 형태 부분에만 영향을 미치는 수용 영역을 제한함으로써 국소적 디테일 캡처를 가능하게 한다.
• 일반화 네트워크는 전역적으로 작동하여 새로운 구성이나 손실된 영역에 대해 타당한 기하학을 제공한다.
• 재구성, 형태 일관성, 디테일 유지 목적을 포함하는 다중 과제 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 intact 영역에서는 미세 기하학적 디테일을 유지하면서도 편집되거나 손실된 영역에서는 타당하게 일반화하는 신경형 형태 표현을 설계할 수 있는가?
• RQ2 과적합된 표현과 일반화 가능한 신경형 형태 표현을 아티팩트(균열, 갭 등) 없이 원활하게 융합할 수 있는가?
• RQ3 두 개의 서로 다른 신경형 표현을 적응적으로 혼합하는 것이 순수 과적합 모델이나 일반화 모델을 초월해 성능 향상에 기여할 수 있는가?
• RQ4 부분 기반 편집과 형태 혼합 과정에서 제안된 융합 메커니즘이 의미적 일관성과 표면 디테일을 어느 정도 유지하는가?

주요 결과

• NeuForm은 순수 과적합 모델이나 일반화 모델과 비교해 상당히 감소된 아티팩트를 기록하며, 특히 관절 영역과 새로운 부품 구성 근처에서 뛰어난 성능을 보였다.
• 재구성 작업에서 NeuForm은 과적합 및 일반화 기반 베이스라인 모두를 능가했으며, 관절 영역 이외의 영역에서는 더 높은 정밀도를 달성했고, 일반화 모델보다 더 나은 관절 기하학을 제공했다.
• 형태 혼합 작업에서 NeuForm은 서로 다른 원천 형태의 부품들 사이에 더 매끄럽고 일관성 있는 관절 연결을 생성했으며, Spaghetti와 Coalesce에서 관찰된 기하학적 왜곡을 피했다.
• 정량적 평가에서 NeuForm은 Spaghetti와 Coalesce와 같은 최신 기술 대비 타당성과 정밀도 사이의 최적 균형을 달성했으며, 더 낮은 재구성 오차와 더 높은 시각적 품질을 기록했다.
• 복잡한 형태인 의자, 테이블, 램프를 편집하는 동안에도 과적합 영역에서는 표면 디테일을 성공적으로 유지하면서도 일반화 영역에서는 타당하고 일관된 기하학을 생성했다.