[논문 리뷰] Orientation-aware Semantic Segmentation on Icosahedron Spheres

Chao Zhang, Stephan Liwicki외 2명|arXiv (Cornell University)|2019. 07. 30.

Robotics and Sensor-Based Localization참고 문헌 27인용 수 7

한 줄 요약

이 논문은 구면 메시의 방향성 일致성을 유지하기 위해 호 기반 보간을 사용하는 육각형 컨볼루션을 활용하여 이코사헤드론 구면에서 방향 인식형 의미 분할을 제안한다. 전용 CNN 연산자(패딩, 풀링, 업샘플링, 방향 인식형 컨볼루션)를 설계함으로써 구면 기하학에서 효과적인 특징 학습을 가능하게 하여 최신 기술 수준의 성능을 달성하고, 평면 U-Net 가중치를 최소한의 미세조정으로 직접 전이할 수 있다.

ABSTRACT

We address semantic segmentation on omnidirectional images, to leverage a holistic understanding of the surrounding scene for applications like autonomous driving systems. For the spherical domain, several methods recently adopt an icosahedron mesh, but systems are typically rotation invariant or require significant memory and parameters, thus enabling execution only at very low resolutions. In our work, we propose an orientation-aware CNN framework for the icosahedron mesh. Our representation allows for fast network operations, as our design simplifies to standard network operations of classical CNNs, but under consideration of north-aligned kernel convolutions for features on the sphere. We implement our representation and demonstrate its memory efficiency up-to a level-8 resolution mesh (equivalent to 640 x 1024 equirectangular images). Finally, since our kernels operate on the tangent of the sphere, standard feature weights, pretrained on perspective data, can be directly transferred with only small need for weight refinement. In our evaluation our orientation-aware CNN becomes a new state of the art for the recent 2D3DS dataset, and our Omni-SYNTHIA version of SYNTHIA. Rotation invariant classification and segmentation tasks are additionally presented for comparison to prior art.

연구 동기 및 목표

• 이코사헤드론 메시에서의 방향성 모호성 문제를 해결하기 위해 이코사헤드론 메시 기반의 방향 인식형 컨볼루션을 도입함.
• 특수 설계된 연산자들을 통해 메시 구성 요소 간 기하학적 일관성을 유지하는 구면 CNN 프레임워크를 개발함.
• 완전 재학습 없이도 사전 훈련된 평면 U-Net 가중치를 구면 네트워크로 직접 전이할 수 있도록 함.
• 새로운 구면 U-Net 아키텍처를 사용하여 2D3DS 및 Omni-SYNTHIA 벤치마크에서 경쟁적인 분할 정확도를 달성함.
• 메시 토폴로지에 맞춘 육각형 필터 패턴을 활용하여 구면 표면에서의 특징 표현을 향상시킴.

제안 방법

• 호 기반 보간을 활용하여 서쪽, 상단, 왼쪽, 동쪽, 하단, 오른쪽 이웃을 포함함으로써 이코사헤드론 메시의 구성 요소 간 연결성을 처리하는 패딩 전략을 설계함.
• 두 개의 회전된 필터 커널(W1 및 W2)을 사용하고, 학습된 가중치 A_i를 통해 결과를 보간함으로써 북측 정렬을 유지하는 방향 인식형 육각형 컨볼루션을 구현함.
• 서쪽 패딩과 스트라이드 제어를 통해 메시 구조와 구성 요소 연결성을 유지하는 구면 풀링 및 이중선형 업샘플링 연산을 정의함.
• 잔차 단위(ResBlocks)와 포인트와이즈 육각형 컨볼루션을 사용한 인코더-디코더 블록을 갖춘 U-Net 기반 아키텍처(HexUNet)를 구축함.
• 로컬 방향에 따라 동적으로 필터 반응을 조정하기 위해 호 기반 보간 가중치 A_i를 사용하여 다양한 메시 구성 요소 간 일관된 특징 학습을 보장함.
• Adam 옵timizer를 사용하여 교차 엔트로피 및 가중치가 부여된 교차 엔트로피 손실을 사용하여 다중 해상도 수준에서 이코사헤드론 메시에서 효율적인 훈련을 가능하게 함.

실험 결과

연구 질문

• RQ1 기존의 구면 CNN과 비교하여 방향 인식형 컨볼루션은 구면 표면에서 의미 분할 정확도를 향상시키는가?
• RQ2 완전 재학습 없이 사전 훈련된 평면 U-Net 가중치를 구면 네트워크로 얼마나 잘 전이할 수 있는가?
• RQ3 2D3DS 및 Omni-SYNTHIA와 같은 벤치마크 데이터셋에서 제안된 구면 CNN 프레임워크는 다양한 해상도 수준에서 어떻게 성능을 발휘하는가?
• RQ4 호 기반 보간은 이코사헤드론 메시 구성 요소 간의 방향 일관성을 효과적으로 유지하는가?
• RQ5 잔차 블록, 풀링, 업샘플링과 같은 아키텍처 설계 선택 사항은 분할 성능 및 훈련 효율성에 어떤 영향을 미치는가?

주요 결과

• 전이된 평면 U-Net 가중치를 사용하여 r=8 해상도에서 단지 10회의 미세조정 에포크 후 HexUNet-T 모델이 Omni-SYNTHIA에서 45.3% mIoU를 달성하여 500회 에포크 훈련의 성능에 근접함.
• r=8 해상도에서 HexUNet은 기준 모델인 UGSCNN을 능가하며, 해상도 증가에 따라 강력한 확장성을 보임.
• 고해상도에서 작은 객체와 경계를 효과적으로 분할함으로써 자전거 기준 분류 오류(7 및 8 해상도에서 보행자로 오분류)가 감소하고 건물 오분류가 줄어듦.
• 2D3DS에서의 정성적 결과 분석에 따르면, 유사 색상 객체(예: 창문 vs. 책장) 및 모호한 경계를 포함한 도전적인 케이스에서 UGSCNN보다 더 우수한 성능을 보임.
• 전이된 가중치를 사용하여 단 한 번의 재학습 에포크 후 35.9% mIoU를 달성하여 방향 인식 설계의 강력한 일반화 능력과 효율성을 입증함.
• HexUNet의 총 가중치 수는 7,245,101개이며, 단일 1080Ti GPU에서 최대 해상도 수준 8까지 훈련이 가능하여 계산 효율성을 입증함.