[논문 리뷰] An Analysis of SVD for Deep Rotation Estimation

Jake Levinson, Carlos Esteves외 5명|arXiv (Cornell University)|2020. 06. 25.

Robotics and Sensor-Based Localization참고 문헌 42인용 수 32

한 줄 요약

논문은 SVDO+ (SVD 기반 직교화)를 통해 SO(3)에 투영하는 것이 이론적으로 최적이며 다양한 지도 및 비지도 설정에서 3D 회전 추정에 대해 실험적으로 현재 최첨단이다.

ABSTRACT

Symmetric orthogonalization via SVD, and closely related procedures, are well-known techniques for projecting matrices onto $O(n)$ or $SO(n)$. These tools have long been used for applications in computer vision, for example optimal 3D alignment problems solved by orthogonal Procrustes, rotation averaging, or Essential matrix decomposition. Despite its utility in different settings, SVD orthogonalization as a procedure for producing rotation matrices is typically overlooked in deep learning models, where the preferences tend toward classic representations like unit quaternions, Euler angles, and axis-angle, or more recently-introduced methods. Despite the importance of 3D rotations in computer vision and robotics, a single universally effective representation is still missing. Here, we explore the viability of SVD orthogonalization for 3D rotations in neural networks. We present a theoretical analysis that shows SVD is the natural choice for projecting onto the rotation group. Our extensive quantitative analysis shows simply replacing existing representations with the SVD orthogonalization procedure obtains state of the art performance in many deep learning applications covering both supervised and unsupervised training.

연구 동기 및 목표

• 깊은 학습 모델이 3D 회전을 추정할 때 어떤 회전 표현이 최적인지에 대한 질문을 제기한다.
• 자연스럽고 최적의 투영 방법으로 SVDO+ (SVD 기반의 SO(3)으로의 직교화)를 제안한다.
• 여러 작업(포인트 클라우드 정렬, 이미지로부터의 물체 자세, 역기구학, 깊이 예측)에 걸친 이론적 분석과 실증적 근거를 제공한다.
• 감독학습과 비감독학습 설정에서 SVDO+를 Gram-Schmidt 및 다른 회전 표현과 비교한다.]
• method impact to keep formatting
• method":["SVDO(M)=UV^T 그리고 SVDO+(M)=UΣ′V^T를 각각 O(n)과 SO(n)로의 투영으로 정의한다.","SVDO+가 가우시안 잡음 하의 M에 대한 SO(n) 투영들 중에서 Frobenius 노름을 최소화한다고 주장한다(가우시안 노이즈에서의 MLE).","SVDO/ SVDO+ 계층의 기울기를 유도하여 안정성과 바람직한 역전파 특성을 보인다.","가우시안 잡음(n=3) 하에서 SVDO+가 Gram-Schmidt의 기대 재구성 오차의 절반을 갖는다는 오차 분석을 제공한다.","과제 전반에서 6D/5D 표현 및 고전 매개변수화(쿼터니언, 오일러, 축-각)와의 벤치마크를 수행한다."]
• research_questions":["SVDO+가 3D 회전을 추정하는 신경망에 대한 자연스럽고 최적의 투영인가?","SVDO+가 재구성 오차와 학습 안정성에서 Gram-Schmidt 및 다른 회전 표현과 어떻게 비교되는가?","SVDO+ 접근방식은 감독 및 비감독 회전 추정 작업에서 최첨단 성능을 달성하는가?","학습에서 SVDO+ 기울기의 이론적 및 실험적 동작은 어떤가?","SVDO+가 포인트 클라우드 정렬, 이미지로부터의 자세 추정, 역기구학, 깊이 예측과 같은 다양한 3D 회전 작업에서 어떤 성능을 보이는가?"]
• key_findings":["SVDO+가 SO(n)에서 M에 대한 재구성 오차를 최소화하고 가우시안 잡음 하에서 최적이다(MLE).","오차 분석은 3D의 작은 가우시안 섭동에 대해 SVDO가 Gram-Schmidt의 기대 오차의 절반을 만든다.","SVDO 기반 방법은 네 가지 응용 분야에서 감독 및 비감독 설정 모두에서 최첨단 또는 경쟁력 있는 성능을 달성한다.","SVDO+는 특이값이 0에 가깝거나 det(M)<0인 경우를 제외하고는 매끄럽고 미분 가능하며, 일반적으로 3D에서 잘 작동한다.","SVD-Train (SVDO+로 학습)은 보고된 벤치마크에서 6D 및 많은 고전 표현을 포함한 대안들보다 종종 더 뛰어나다."]
• table_headers":["평균 (∘)","중앙값","표준편차"],
• table_rows":[["3D-RCNN","5.51","1.91","17.05"],["M_G","9.12","7.65","10.46"],["Euler","11.04","6.23","15.56"],["Axis-Angle","6.65","4.06","11.47"],["Quaternion","5.48","3.19","11.03"],["S2-Reg","4.80","3.00","9.27"],["5D","3.77","2.19","8.70"],["6D","2.24","1.22","7.83"],["SVD-Inf","2.64","1.60","8.16"],["SVD-Train","1.63","0.89","6.70"]]} yes but formatting warning to ensure proper json structure? Adjust final to valid json. Ensure all fields are strings or arrays properly. I'll provide corrected JSON. } (final) }
• note_to_user_collected_internally_excluated

제안 방법

• SVDO(M)=UV^T 그리고 SVDO+(M)=UΣ′V^T를 각각 O(n)과 SO(n)로의 투영으로 정의한다.
• SVDO+가 가우시안 잡음 하의 M에 대한 SO(n) 투영들 중에서 Frobenius 노름을 최소화한다고 주장한다(가우시안 노이즈에서의 MLE).
• SVDO/ SVDO+ 계층의 기울기를 유도하여 안정성과 바람직한 역전파 특성을 보인다.
• 가우시안 잡음(n=3) 하에서 SVDO+가 Gram-Schmidt의 기대 재구성 오차의 절반을 갖는다는 오차 분석을 제공한다.
• 과제 전반에서 6D/5D 표현 및 고전 매개변수화(쿼터니언, 오일러, 축-각)와의 벤치마크를 수행한다.

실험 결과

연구 질문

• RQ1 SVDO+가 3D 회전을 추정하는 신경망에 대한 자연스럽고 최적의 투영인가?
• RQ2 SVDO+가 재구성 오차와 학습 안정성에서 Gram-Schmidt 및 다른 회전 표현과 어떻게 비교되는가?
• RQ3 SVDO+ 접근방식은 감독 및 비감독 회전 추정 작업에서 최첨단 성능을 달성하는가?
• RQ4 학습에서 SVDO+ 기울기의 이론적 및 실험적 동작은 어떤가?
• RQ5 SVDO+가 포인트 클라우드 정렬, 이미지로부터의 자세 추정, 역기구학, 깊이 예측과 같은 다양한 3D 회전 작업에서 어떤 성능을 보이는가?

주요 결과

• SVDO+가 SO(n)에서 M에 대한 재구성 오차를 최소화하고 가우시안 잡음 하에서 최적이다(MLE).
• 오차 분석은 3D의 작은 가우시안 섭동에 대해 SVDO가 Gram-Schmidt의 기대 오차의 절반을 만든다.
• SVDO 기반 방법은 네 가지 응용 분야에서 감독 및 비감독 설정 모두에서 최첨단 또는 경쟁력 있는 성능을 달성한다.
• SVDO+는 특이값이 0에 가깝거나 det(M)<0인 경우를 제외하고는 매끄럽고 미분 가능하며, 일반적으로 3D에서 잘 작동한다.
• SVD-Train (SVDO+로 학습)은 보고된 벤치마크에서 6D 및 많은 고전 표현을 포함한 대안들보다 종종 더 뛰어나다。