[논문 리뷰] AdaCoSeg: Adaptive Shape Co-Segmentation with Group Consistency Loss

Chenyang Zhu, Kai Xu외 4명|arXiv (Cornell University)|2019. 03. 25.

3D Shape Modeling and Analysis참고 문헌 39인용 수 9

한 줄 요약

AdaCoSeg는 점군의 적응형 3D 형상 공세분할을 위한 약한 지도 학습 기반 딥러닝 프레임워크로, 두 단계의 접근 방식을 사용한다: 먼저 초기 부위 제안을 정제하기 위해 사전 학습된 부위 사전 네트워크를 오프라인으로 적용하고, 그 다음으로는 행렬 질량 기반의 새로운 그룹 일관성 손실을 활용해 형상 집합 전체에서 부위 레이블링을 공동 최적화하는 온라인 공세분할 네트워크를 적용한다. 이 방법은 일관된 지도 데이터가 필요 없이 사용자가 지정한 K개 부위의 일관된 세분화를 달성하며, 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We introduce AdaCoSeg, a deep neural network architecture for adaptive co-segmentation of a set of 3D shapes represented as point clouds. Differently from the familiar single-instance segmentation problem, co-segmentation is intrinsically contextual: how a shape is segmented can vary depending on the set it is in. Hence, our network features an adaptive learning module to produce a consistent shape segmentation which adapts to a set. Specifically, given an input set of unsegmented shapes, we first employ an offline pre-trained part prior network to propose per-shape parts. Then, the co-segmentation network iteratively and} jointly optimizes the part labelings across the set subjected to a novel group consistency loss defined by matrix ranks. While the part prior network can be trained with noisy and inconsistently segmented shapes, the final output of AdaCoSeg is a consistent part labeling for the input set, with each shape segmented into up to (a user-specified) K parts. Overall, our method is weakly supervised, producing segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from AdaCoSeg and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.

연구 동기 및 목표

• 형상 집합 간 일관된 지도 레이블이 없는 상황에서 일관된 3D 형상 공세분할 문제를 해결하기 위해.
• 입력 집합에 따라 행동을 적응시키는 공세분할 네트워크를 설계하여, 입력 간 일반화가 아닌 특정 입력 집합에 맞추어 동작하도록 하기 위해.
• 형상 컬렉션 내 기하학적 및 구조적 변형에 대해 세분화의 일관성과 강건성을 향상시키기 위해.
• 노이즈가 섞이고 일관성이 없는 세분화를 활용해 사전 학습된 부위 사전 네트워크를 위한 전처리를 위해 약한 지도 학습을 활용하기 위해.
• 기본 행렬 질량 기반의 손실을 통해 그룹 일관성을 최적화하는 런타임 공세분할 네트워크를 개발하기 위해.

제안 방법

• 두 단계의 파이프라인: 첫째, 일관성이 없는 세분화에서 유도된 약한 지도 신호를 활용해 사전 학습된 부위 사전 네트워크가 초기 부위 제안을 정제한다.
• 둘째, 부위 유사도 행렬의 질량에 기반한 새로운 그룹 일관성 손실을 사용해 입력 집합 내 모든 형상에서 부위 레이블링을 공동 최적화하는 적응형 공세분할 네트워크를 적용한다.
• 그룹 일관성 손실은 부위 간 유사도 행렬의 질량을 최소화하여 기하학적 및 구조적 일관성을 장려함으로써, 서로 다른 형상 내 부위 간 대응 관계를 촉진한다.
• 공세분할 네트워크는 그룹 일관성 손실을 통해 역전파 기반으로 학습되며, 지도 레이블 없이도 반복적인 부위 할당 개선이 가능하다.
• 부위 사전 네트워크는 한 번만 큰 크기의 일관성이 없는 세분화 데이터셋(예: ComplementMe)에서 학습되며, 다양한 공세분할 작업에서 재사용되어 부위 경계를 정규화한다.
• 이 방법은 사용자 설정이 가능하다: 부위 수 K는 세분화의 해상도를 제어하는 하이퍼파rameter이며, K와 관계없이 일관성이 보장된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 형상 집합 간 일관된 지도 레이블이 없이도 일관된 3D 형상 공세분할을 달성할 수 있는가?
• RQ2 공세분할 네트워크는 어떻게 특정 입력 집합에 맞춰 행동을 적응시킬 수 있는가? 일반화가 아닌 입력 집합에 특화된 동작을 위해.
• RQ3 기본 행렬 질량 기반의 가역적 그룹 일관성 손실이 형상 컬렉션 내 부위 간 의미론적 대응 관계를 효과적으로 강제할 수 있는가?
• RQ4 약한 지도 학습 기반의 부위 사전 네트워크가 강력한 지도 학습이 없는 상황에서 공세분할 품질을 얼마나 향상시키는가?
• RQ5 대규모 기하학적 및 구조적 변형 하에서 이 방법은 최신 기술의 공세분할 접근 방식과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• AdaCoSeg는 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 의자, 램프, 작문, 기타 각각에 대해 Rand Index 점수는 0.055, 0.059, 0.189, 0.032를 기록하여 대부분의 카테고리에서 이전 방법을 능가한다.
• 9개의 의자로 구성된 소규모 테스트 세트에서 AdaCoSeg는 Rand Index 0.055를 달성하여, 한 예시를 사용한 BAE-NET(0.076) 및 기타 베이스라인을 크게 앞서며 성능을 뛰어나게 한다.
• 자신의 학습 데이터에서조차도 AdaCoSeg는 일관성을 향상시키며, 의자에 대해 Rand Index 0.09를 기록(지도 레이블 기준 0.21 대비)하여 강건성과 일반화 능력을 입증한다.
• 절단 실험 결과, 그룹 일관성 손실이 핵심임을 확인하였으며, 손실이 적용된 경우 학습 단계에서 질량 손실이 크게 감소함을 통해 효과적인 최적화가 이루어짐을 보여준다.
• 계산적으로 효율적이다: 2,048개 포인트를 가진 20개의 형상을 공세분할하는 데 약 7분이 소요되며, 반복 최적화 과정이 있음에도 불구하고 이는 매우 효율적이다.
• 프레임워크는 적응형이다: 동일한 형상이 입력 집합에 따라 다른 수의 부위로 세분화될 수 있으며, 그림 1에서 이를 확인할 수 있다. 이는 맥락에 민감한 특성을 보여준다.