[논문 리뷰] Spherical Regression: Learning Viewpoints, Surface Normals and 3D Rotations on n-Spheres

Shuai Liao, Efstratios Gavves외 1명|arXiv (Cornell University)|2019. 04. 10.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 4

한 줄 요약

이 논문은 지표, 표면 법선, 3차원 회전을 n-구면에서 모델링함으로써 3차원 방향을 학습하기 위한 구면 회귀를 제안한다. 지표 함수를 통한 지수 정규화를 표준 정규화 대신 사용함으로써 일반화 성능과 진짜값과의 일치도를 향상시켜, 파스칼3D+ 및 모델넷10-SO3 벤치마크에서 시점 추정, 표면 법선 예측, 3차원 회전 회귀 작업 전반에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many computer vision challenges require continuous outputs, but tend to be solved by discrete classification. The reason is classification's natural containment within a probability $n$-simplex, as defined by the popular softmax activation function. Regular regression lacks such a closed geometry, leading to unstable training and convergence to suboptimal local minima. Starting from this insight we revisit regression in convolutional neural networks. We observe many continuous output problems in computer vision are naturally contained in closed geometrical manifolds, like the Euler angles in viewpoint estimation or the normals in surface normal estimation. A natural framework for posing such continuous output problems are $n$-spheres, which are naturally closed geometric manifolds defined in the $\mathbb{R}^{(n+1)}$ space. By introducing a spherical exponential mapping on $n$-spheres at the regression output, we obtain well-behaved gradients, leading to stable training. We show how our spherical regression can be utilized for several computer vision challenges, specifically viewpoint estimation, surface normal estimation and 3D rotation estimation. For all these problems our experiments demonstrate the benefit of spherical regression. All paper resources are available at https://github.com/leoshine/Spherical_Regression.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용한 연속적인 3차원 방향(시점, 법선, 회전) 학습의 과제를 해결한다.
• 구면 다양체에서의 회귀 작업에서 표준 ℓ₂ 정규화의 한계를 극복한다.
• 지표 함수를 통한 지수 정규화를 사용하여 예측을 n-구면에 모델링함으로써 일반화 성능 향상과 진짜값과의 일치도 향상을 도모한다.
• 파스칼3D+, 뉴유브2, 모델넷10-SO3 등 여러 3차원 방향 예측 벤치마크에서 일관된 성능 향상을 입증한다.
• 학습 안정성과 기울기 흐름을 뒷받침하기 위해 구면 정규화의 애널리틱 제이코비안을 이론적으로 유도한다.

제안 방법

• 표준 ℓ₂ 정규화를 대체하여 출력을 n-구면에 매핑하기 위해 구면 정규화 모듈 $ S_{\text{exp}}^n $ 을 제안한다.
• 예측의 희소성과 방향성 선호도를 강제하기 위해 정규화 레이어에서 지수 활성화 $ f(o_i) = e^{o_i} $ 를 사용한다.
• 구면 정규화 레이어의 분석적 제이코비안을 $ \boldsymbol{J}_{\text{exp}} = (\boldsymbol{I} - \boldsymbol{P} \boldsymbol{P}^T) \text{diag}(\boldsymbol{P}) $ 로 유도하여 안정적인 역전파를 가능하게 한다.
• 백본 네트워크(예: ResNet101 또는 VGG16) 뒤에 플러그인 헤드로 구면 정규화 모듈을 통합하여 엔드 투 엔드 학습을 수행한다.
• 세 가지 작업에 적용: 시점 추정(오일러 각도), 표면 법선 예측(NYUv2), 3차원 회전 회귀(모델넷10-SO3에서의 퀼터니언).
• 절대값 예측(이산 범주에 대한 소프트맥스)과 부호 예측을 위한 이중 헤드 예측 헤드를 사용하여 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 ℓ₂ 정규화에 비해 구면 정규화가 3차원 방향 예측 작업에서 딥 뉴럴 네트워크의 일반화 성능과 일치도 향상에 기여하는가?
• RQ2 제안된 $ S_{\text{exp}}^1 $ 정규화는 파스칼3D+에서 세밀한 각도 지표를 사용한 시점 추정에서 어떻게 성능을 발휘하는가?
• RQ3 구면 회귀는 부드러운 회귀 기반 모델에 비해 표면 법선 예측에서 더 선명한 경계를 유지하면서도 세부 정보를 유지하는가?
• RQ4 특히 대칭 물체에서 3차원 회전 추정 정확도 향상에 있어 구면 정규화가 어느 정도 기여하는가?
• RQ5 구면 정규화의 기울기 흐름에 미치는 이론적 영향은 정규화 레이어의 제이코비안을 통해 어떻게 캡처되는가?

주요 결과

• 파스칼3D+에서 제안된 $ S_{\text{exp}}^1 $ 모듈은 Acc@π/6를 88.2%로 향상시켰다(펜도네스 등에 비해 83.6%에서 상승), 중앙오차(MedErr)는 9.2°로 개선되어 모든 카테고리에서 일관된 성능 향상을 보였다.
• 뉴유브2에서 표면 법선 예측 작업에서, 구면 회귀 방법은 진저 등[9]의 방법보다 더 선명한 경계를 생성했으며, 약간의 부드러움 감소에도 기하학적 세부 정보를 더 잘 유지했다.
• 모델넷10-SO3에서 $ S_{\text{exp}}^3 $ 는 평탄한 VGG16 회귀에 비해 3차원 회전 추정 정확도를 향상시켰으며, 욕조나 테이블과 같은 대칭 물체에서 특히 높은 Acc@π/6 성능을 기록했다.
• 자동차 카테고리에서는 클래스별 Acc@π/6가 93%를 기록했고, 비행기 카테고리에서는 98%를 달성하여 도전적인 카테고리에서 이전 방법들을 능가했다.
• 이론적 분석을 통해 $ \boldsymbol{J}_{\text{exp}} = (\boldsymbol{I} - \boldsymbol{P} \boldsymbol{P}^T) \text{diag}(\boldsymbol{P}) $ 는 $ \boldsymbol{J}_{\text{flat}} $ 보다 더 우수한 기울기 행동을 제공함을 확인했으며, 이는 향상된 학습 안정성을 뒷받침한다.
• 구면 회귀 모듈은 평가된 모든 작업과 벤치마크에서 일관되게 성능 향상을 이끌었으며, 3차원 기하학적 학습에 광범위하게 적용 가능한 것으로 입증되었다.