[논문 리뷰] HyperPose: Camera Pose Localization using Attention Hypernetworks

Ron Ferens, Yosi Keller|arXiv (Cornell University)|2023. 03. 05.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 입력 이미지 특징에 기반해 동적으로 적응적인 회귀 헤드 가중치를 생성하는 어텐션 하이퍼넷워크로 Transformer-encoder를 사용하는 새로운 절대 자세 회귀 방법인 HyperPose를 제안한다. 시각적 변동에 대응해 동적으로 가중치를 조절할 수 있도록 함으로써, 조명, 시점, 환경 변화로 인한 도메인 이탈 상황에서도 실내 및 실외 벤치마크에서 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

In this study, we propose the use of attention hypernetworks in camera pose localization. The dynamic nature of natural scenes, including changes in environment, perspective, and lighting, creates an inherent domain gap between the training and test sets that limits the accuracy of contemporary localization networks. To overcome this issue, we suggest a camera pose regressor that integrates a hypernetwork. During inference, the hypernetwork generates adaptive weights for the localization regression heads based on the input image, effectively reducing the domain gap. We also suggest the use of a Transformer-Encoder as the hypernetwork, instead of the common multilayer perceptron, to derive an attention hypernetwork. The proposed approach achieves superior results compared to state-of-the-art methods on contemporary datasets. To the best of our knowledge, this is the first instance of using hypernetworks in camera pose regression, as well as using Transformer-Encoders as hypernetworks. We make our code publicly available.

연구 동기 및 목표

• 조명, 시점, 환경 변화와 같은 동적 환경 변화로 인한 카메라 자세 국정의 도메인 갭을 해소하기 위해.
• 회귀 헤드 가중치의 동적이고 입력 기반의 적응을 가능하게 해 절대 자세 회귀(APR) 모델의 강인성과 정확도를 향상시키기 위해.
• 카메라 자세 추정에 하이퍼넷워크를 적용하는 것의 가능성을 탐색하기 위해, 이와 같은 맥락에서 이전에 다뤄지지 않은 새로운 응용 분야를 탐색하기 위해.
• 기존의 MLP 기반 하이퍼넷워크와 비교해, Transformer-Encoder를 하이퍼넷워크로 사용할 경우, 회귀 헤드 파라미터 생성에 있어 성능이 어떻게 달라지는지 평가하기 위해.
• 적응적이고 어텐션 기반의 가중치 생성을 통해 표준 실외 및 실내 국정 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 이중 브랜치 아키텍처를 사용하며, EfficientNet-B0 백본의 중간 활성화 맵이 분리된 Transformer-Encoder 헤드를 통해 각각 평행 이동과 회전 예측을 처리한다.
• 어텐션 하이퍼넷워크는 백본의 잠재 표현을 입력으로 받아, 입력 이미지에 기반해 동적으로 작업에 특화된 가중치를 생성한다.
• 하이퍼넷워크는 메인 네트워크의 회귀 헤드에 추가되는 잔차 가중치를 출력함으로써, 회귀 과정의 적응적 조절을 가능하게 한다.
• 자세 회귀를 두 개의 별도된 시퀀스-투-원 문제로 간주함으로써, 각 자세 성분에 대해 독립적으로 유의미한 시각적 단서에 집중할 수 있도록 한다.
• 4D-Norm 회전 표현과 행렬 기반 손실을 사용함으로써, 쿼aternion이나 6D 표현보다 더 높은 자세 추정 정확도를 확보한다.
• 전체 시스템은 역전파를 사용해 엔드 투 엔드로 훈련되며, 하이퍼넷워크와 메인 네트워크가 함께 최적화된다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 아키텍처가 다양한 환경 조건에서 카메라 자세 회귀의 일반화 성능을 향상시킬 수 있는가?
• RQ2 기존의 MLP 기반 하이퍼넷워크와 비교해, Transformer-Encoder를 하이퍼넷워크로 사용할 경우 자세 추정을 위한 회귀 가중치 생성에 있어 성능이 향상되는가?
• RQ3 하이퍼넷워크를 통한 동적이고 입력 기반의 가중치 조절이 카메라 국정에서 훈련 데이터와 테스트 데이터 간의 도메인 갭을 줄일 수 있는가?
• RQ4 잔차 기반 하이퍼넷워크 설계가 직접 회귀와 비교해 자세 추정 정확도에서 어떤가?
• RQ5 자세 회귀에 최적의 하이퍼넷워크 깊이, 임bedding 차원, 출력 레이어 구조는 무엇인가?

주요 결과

• HyperPose는 ShopFacade 씬에서 Cambridge Landmarks 데이터셋에서 각각 0.53미터와 3.55도의 최신 기술 수준의 중앙값 위치 오차와 자세 오차를 달성한다.
• 잔차 하이퍼넷워크 아키텍처는 직접 회귀보다 우수한 성능을 보이며, 위치 오차는 0.02미터, 자세 오차는 0.51도 감소시킨다.
• Transformer-Encoder를 하이퍼넷워크로 사용할 경우, MLP 기반 하이퍼넷워크보다 뛰어난 성능(0.57m 위치, 4.06° 자세)을 기록함으로써 어텐션 메커니즘의 유용성을 입증한다.
• 제거 분석 결과, 256/512 임베딩 차원 설정이 최적의 균형을 이룹니다. 이 경우 위치 오차 0.53m, 자세 오차 3.55°를 기록하며, 256/256 및 512/512 설정보다 뛰어난 성능을 보였다.
• 행렬 기반 손실을 사용하는 4D-Norm 회전 표현은 쿼aternion(3.55°)과 6D 표현(4.54°)을 모두 능가하는 최저의 자세 오차(4.08°)를 기록함으로써, 이 작업에 적합함을 시사한다.
• 하이퍼넷워크가 다양한 이미지 입력에 대해 서로 다른, 맥락 기반의 가중치를 생성할 수 있음을 통해, 모델이 시각적 변동에 대해 강인하게 적응하는 것으로 나타났다.