[논문 리뷰] SpherePHD: Applying CNNs on a Spherical PolyHeDron Representation of 360 degree Images

Yeonkun Lee, Jaeseok Jeong외 3명|arXiv (Cornell University)|2018. 11. 20.

Advanced Vision and Imaging참고 문헌 22인용 수 10

한 줄 요약

이 논문은 공간 왜곡을 최소화하고 연속성을 유지하기 위해 이코사헤드론 기반의 지오데식 메시를 사용하는 새로운 구형 다면체 표현인 SpherePHD를 제안한다. 이 기하학적 구조상에서 컨볼루션과 풀링 연산을 재정의함으로써 ERP 및 큐브 매핑 투영 방식에서 기인하는 비균일한 공간 해상도와 가장자리 불연속성을 줄이며, 합성 및 실제 데이터셋에서 분류, 검출, 세그멘테이션 작업에서 뛰어난 성능을 달성한다. 특히 카메라 기울임과 데이터 증강 조건에서도 뛰어난 성능을 보인다.

ABSTRACT

Omni-directional cameras have many advantages overconventional cameras in that they have a much wider field-of-view (FOV). Accordingly, several approaches have beenproposed recently to apply convolutional neural networks(CNNs) to omni-directional images for various visual tasks.However, most of them use image representations defined inthe Euclidean space after transforming the omni-directionalviews originally formed in the non-Euclidean space. Thistransformation leads to shape distortion due to nonuniformspatial resolving power and the loss of continuity. Theseeffects make existing convolution kernels experience diffi-culties in extracting meaningful information.This paper presents a novel method to resolve such prob-lems of applying CNNs to omni-directional images. Theproposed method utilizes a spherical polyhedron to rep-resent omni-directional views. This method minimizes thevariance of the spatial resolving power on the sphere sur-face, and includes new convolution and pooling methodsfor the proposed representation. The proposed method canalso be adopted by any existing CNN-based methods. Thefeasibility of the proposed method is demonstrated throughclassification, detection, and semantic segmentation taskswith synthetic and real datasets.

연구 동기 및 목표

• 비유클리드 공간에서 유클리드 공간으로의 변환으로 인해 발생하는 360° 이미지에 적용된 컨볼루션 네트워크의 공간 왜곡과 불연속성을 해결하기 위해.
• 등방위 투영(ERP) 및 큐브 매핑 표현으로 인해 발생하는 공간 해상도의 변동성을 줄이기 위해.
• 오mmo-방향 이미지의 순환성과 연속성을 컨볼루션 네트워크 처리 중에 유지하기 위해.
• 기존 컨볼루션 네트워크 아키텍처와 호환되는 기하학적 인식 컨볼루션 및 풀링 연산을 개발하기 위해.
• 합성 및 실제 데이터셋에서 분류, 객체 검출, 세그멘테이션 작업 전반에 걸쳐 향상된 성능을 입증하기 위해.

제안 방법

• 논문은 공간 왜곡과 공간 해상도의 변동성을 최소화하기 위해 이코사헤드론 기반의 지오데식 메시에서 유도된 새로운 구형 다면체 표현인 SpherePHD를 도입한다.
• ERP 및 큐브 매핑과 비교해 기하학적 연속성을 유지하고 형태 왜곡을 줄이는 새로운 투영 방법을 제안한다. 이는 360° 이미지를 이코사헤드론의 면에 매핑한다.
• 메시 상의 국소적 이웃을 활용해 구형 다면체 상에서 새로운 컨볼루션 연산을 정의함으로써, 구면 전반에 걸쳐 일관된 수신장 형태를 보장한다.
• 자체 설계된 풀링 레이어는 특징을 다운샘플링하면서도 공간적 구조를 유지하며, 자동에코더 아키텍처에서 복원 가능하도록 색인 추적 기반의 맥스 풀링을 사용한다.
• 기존 컨볼루션 네트워크와 호환되며, 아키텍처의 대대적 개편 없이도 표준 네트워크에 SpherePHD를 즉시 통합할 수 있다.
• 실제 환경의 변동성에 대응하기 위해 랜덤 카메라 기울임을 통한 데이터 증강을 지원한다.

실험 결과

연구 질문

• RQ1 ERP 및 큐브 매핑 투영 방식과 비교해, 구형 다면체 표현이 360° 이미지 처리에서 공간 왜곡을 줄이고 공간 해상도의 균일성을 향상시키는가?
• RQ2 제안된 기하학적 인식 컨볼루션 및 풀링 연산이 왜곡된 투영 방식에 적용된 표준 컨볼루션 네트워크와 비교해 특징 일관성을 어떻게 유지하는가?
• RQ3 카메라 기울임과 데이터 증강 조건에서 ERP 및 큐브 매핑이 실패하는 상황에서 SpherePHD 표현이 검출 및 세그멘테이션 정확도를 향상시키는가?
• RQ4 SpherePHD에서 순환 연속성이 유지됨으로써 검출 작업에서 객체 분할 아티팩트가 얼마나 감소하는가?
• RQ5 기존의 컨볼루션 네트워크 기반 모델에 큰 아키텍처 수정 없이 SpherePHD 프레임워크를 효과적으로 통합할 수 있는가?

주요 결과

• 회전 증강 데이터 하에서 SYNTHIA 데이터셋에서 SpherePHD는 차량 검출 시 평균 정밀도 64.52%를 기록했으며, ERP(39.87%) 및 큐브 매핑(26.03%) 표현보다 유의미하게 뛰어나다.
• SYNTHIA 데이터셋에서의 세그멘테이션 작업에서 SpherePHD는 평균 클래스 정확도 70.08%와 전체 픽셀 정확도 97.20%를 달성했으며, ERP(62.69% 및 95.07%) 및 큐브 매핑(36.07% 및 66.04%) 방법을 모두 초월했다.
• 더 도전적인 Stanford2D3D 실제 데이터셋에서 SpherePHD는 평균 클래스 정확도 26.40%와 전체 픽셀 정확도 51.40%를 기록했으며, ERP(17.97% 및 35.02%) 및 큐브 매핑(17.42% 및 32.38%) 표현보다 뚜렷하게 뛰어났다.
• ERP 표현은 데이터 증강 조건에서 성능이 저하되었지만, SpherePHD는 높은 정확도를 유지하며 카메라 기울임과 공간적 변동성에 대한 강건성을 입증했다.
• 그림 12 및 그림 13의 시각적 결과는 SpherePHD가 객체 분할 아티팩트를 줄이고, 특히 이미지 경계부 및 기울인 이미지에서 세그멘테이션 일관성을 향상시켰음을 확인했다.
• 모든 작업—분류, 검출, 세그멘테이션—에 걸쳐 합성 및 실제 데이터셋 모두에서 일관된 슈퍼리어리티를 보였으며, 특히 카메라 기울임과 고클래스 다양성과 같은 도전적인 조건에서 두각을 나타냈다.