[논문 리뷰] PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism

Satoshi Ikehata|arXiv (Cornell University)|2022. 11. 21.

Color Science and Applications인용 수 13

한 줄 요약

이 논문은 희박한 광학 스테레오에서 고차원 상호작용을 이중 브랜치 아키텍처를 통해 포착하는 자기주의 주의(self-attention) 기반 딥 러닝 모델인 PS-Transformer을 제안한다. 다중 헤드 자기주의 주의를 사용하고 내림표집을 하지 않으며 표면 법선에 대한 중간 지도를 적용함으로써, 8장의 입력 이미지로도 기존의 10배 많은 이미지를 사용하는 밀집 방법 기반 베이스라인을 능가하는 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Existing deep calibrated photometric stereo networks basically aggregate observations under different lights based on the pre-defined operations such as linear projection and max pooling. While they are effective with the dense capture, simple first-order operations often fail to capture the high-order interactions among observations under small number of different lights. To tackle this issue, this paper presents a deep sparse calibrated photometric stereo network named {\it PS-Transformer} which leverages the learnable self-attention mechanism to properly capture the complex inter-image interactions. PS-Transformer builds upon the dual-branch design to explore both pixel-wise and image-wise features and individual feature is trained with the intermediate surface normal supervision to maximize geometric feasibility. A new synthetic dataset named CyclesPS+ is also presented with the comprehensive analysis to successfully train the photometric stereo networks. Extensive results on the publicly available benchmark datasets demonstrate that the surface normal prediction accuracy of the proposed method significantly outperforms other state-of-the-art algorithms with the same number of input images and is even comparable to that of dense algorithms which input 10$ imes$ larger number of images.

연구 동기 및 목표

• 낮은 이미지 수로 인해 특징 학습이 어려워지는 희박한 설정에서 기존 딥 광학 스테레오 네트워크의 한계를 해결한다.
• 최근의 1차 집합화 방법(예: 최대 풀링, 선형 투영)이 희박한 조명 관측치 간의 복잡한 고차원 상호작용을 포착하지 못하는 데서 기인하는 실패를 극복한다.
• 순열 불변 방식으로 다중 조명 정보를 효과적으로 융합하면서도 미세한 표면 세부 정보를 유지하는 모델을 설계한다.
• 희박한 광학 스테레오 네트워크의 훈련 및 평가를 지원하기 위해 새로운 합성 데이터셋인 CyclesPS+을 도입한다.
• 자기주의 주의 메커니즘이 낮은 데이터 환경에서 기존의 CNN 기반 및 세트 풀링 접근 방식을 능가할 수 있음을 입증한다.

제안 방법

• 이중 브랜치 네트워크 제안: 하나의 브랜치는 다중 헤드 자기주의 주의를 사용해 각 픽셀 관측치를 조명 간에 처리하고, 다른 브랜치는 컨볼루션 레이어를 통해 이미지 수준의 특징을 인코딩한다.
• 고정된 격자나 입력 크기를 가정하지 않고, 다양한 조명 방향에서의 관측치 간의 복잡한 비선형 관계를 모델링하기 위해 학습 가능한 자기주의 주의 메커니즘을 사용한다.
• 기하학적 일관성을 강화하고 훈련 안정성을 향상시키기 위해 특징 수준에서 예측된 표면 법선에 중간 지도를 적용한다.
• 데이터 기반 방식으로 이미지 간 특징을 적응적으로 융합할 수 있도록 학습 가능한 다중 헤드 자기주의 주의 모듈(PMA)을 디코딩에 통합한다.
• 모델을 새로 도입된 합성 데이터셋인 CyclesPS+에서 훈련하여 다양한 현실적인 조명 및 표면 변화를 제공함으로써 강건한 일반화 능력을 확보한다.
• 주의 처리 동안 내림표집을 피하여 네트워크 전반에 걸쳐 공간 해상도와 미세한 표면 세부 정보를 유지한다.

실험 결과

연구 질문

• RQ1 기존의 풀링 및 선형 연산이 실패하는 희박한 광학 스테레오 관측치 간의 고차원 상호작용을 자기주의 주의 메커니즘이 효과적으로 모델링할 수 있는가?
• RQ2 픽셀 수준과 이미지 수준의 특징 학습을 분리하는 이중 브랜치 설계가 낮은 이미지 수 설정에서 성능 향상에 어떻게 기여하는가?
• RQ3 Transformer 기반 아키텍처가 희박한 설정에서 미세한 표면 세부 정보 복원 능력을 유지하면서 얼마나 잘 일반화되는가?
• RQ4 표면 법선에 대한 중간 지도가 희박한 광학 스테레오에서 기하학적 타당성과 최종 예측 정확도 향상에 기여하는가?
• RQ5 입력 이미지 수가 제한된 조건에서 자기주의 주의 기반 모델의 성능이 CNN 기반 및 세트 풀링 베이스라인과 비교해 어떻게 되는가?

주요 결과

• PS-Transformer는 벤치마크 데이터셋에서 8장의 입력 이미지로도 최신 기술 수준의 표면 법선 예측 정확도를 달성하며, 기존 방법이 10배 이상 많은 이미지를 사용해 훈련한 것보다 뛰어난 성능을 보였다.
• SPS-Net (8×8)보다 예측 오차를 크게 감소시켜 이중 브랜치 설계와 주의 기반 특징 융합의 효과를 입증했다.
• DiLiGenT-MV 데이터셋에서 PS-Transformer는 모든 베이스라인보다 더 적은 노이즈와 더 높은 세부 정보를 가진 표면 법선 맵을 생성했으며, 일관된 정성적 우수성을 보였다.
• 10장 이상의 입력 뷰로 테스트한 결과 모델은 안정적인 성능을 유지했지만, 더 이상의 향상은 관찰되지 않아 밀집 설정으로의 일반화 능력에는 한계가 있음을 시사했다.
• 제거 실험을 통해 자기주의 주의 메커니즘과 중간 지도가 희박한 설정에서 성능 향상의 핵심 요소임을 확인했다.
• SPS-Net (8×8)가 (32×32)를 능가하는 성능을 보인 것은 局부 조명 변화 모델링이 전반적 특징 집합화보다 더 효과적임을 시사하며, PS-Transformer의 설계 선택을 뒷받침한다.