[논문 리뷰] HoHoNet: 360 Indoor Holistic Understanding with Latent Horizontal Features

Cheng Sun, Min Sun외 1명|arXiv (Cornell University)|2020. 11. 23.

Advanced Vision and Imaging참고 문헌 33인용 수 7

한 줄 요약

HoHoNet는 수평 특징을 활용하여 수직 공간 정보를 압축하면서도 밀도 높은 픽셀 단위 예측을 가능하게 하는 빠르고 정확한 딥러닝 프레임워크입니다. 새로운 수평에서 밀도로(HoHoNet) 모듈을 통해 실시간으로 고해상도 $512\times1024$ 풍경에서 각각 ResNet-50 기준 52 FPS, ResNet-34 기준 110 FPS의 높은 속도를 달성하며, 밀도 있는 깊이 추정에서 기존 방법들을 능가하고, 레이아웃 및 의미 분할 분야에서 최신 기술 수준의 성능을 기록합니다.

ABSTRACT

We present HoHoNet, a versatile and efficient framework for holistic understanding of an indoor 360-degree panorama using a Latent Horizontal Feature (LHFeat). The compact LHFeat flattens the features along the vertical direction and has shown success in modeling per-column modality for room layout reconstruction. HoHoNet advances in two important aspects. First, the deep architecture is redesigned to run faster with improved accuracy. Second, we propose a novel horizon-to-dense module, which relaxes the per-column output shape constraint, allowing per-pixel dense prediction from LHFeat. HoHoNet is fast: It runs at 52 FPS and 110 FPS with ResNet-50 and ResNet-34 backbones respectively, for modeling dense modalities from a high-resolution $512 imes 1024$ panorama. HoHoNet is also accurate. On the tasks of layout estimation and semantic segmentation, HoHoNet achieves results on par with current state-of-the-art. On dense depth estimation, HoHoNet outperforms all the prior arts by a large margin.

연구 동기 및 목표

• 다양한 작업에서 고효율성과 정확도를 확보하면서 360° 실내 풍경을 종합적으로 이해할 수 있도록 하는 것.
• 기존 방법이 열별 출력에 국한되어 있음을 해결하고, 압축된 LHFeat에서 픽셀 단위의 밀도 예측을 가능하게 하는 것.
• 레이아웃 추정, 의미 분할, 깊이 추정에서 성능을 훼손하지 않으면서 추론 속도를 향상시키는 것.
• 단일이고 압축된 특징 표현을 사용하여 레이아웃, 깊이, 의미 등 다양한 모odal을 지원하는 통합 프레임워크를 개발하는 것.

제안 방법

• 프레임워크는 등각 풍경에서 다중 척도 특징을 추출하기 위해 CNN 백본(예: ResNet-50/34)을 사용합니다.
• 효율적 높이 압축(EHC) 모듈은 특징 피라미드의 수직 차원을 압축된 잠재적 수평 특징(LHFeat)으로 평탄화하여 공간 해상도를 감소시키면서도 구조적 정보를 유지합니다.
• 새로운 수평에서 밀도로(h2d) 모듈은 이산 코사인 변환(DCT)을 활용하여 주파수 도메인에서 행별로 의존하는 정보를 모델링함으로써 LHFeat에서 밀도 높은 2D 예측을 재구성합니다.
• h2d 모듈은 선형 보간 대신 역이산 코사인 변환(IDCT)을 사용하여 공간 세부 정보를 더 잘 유지하고 밀도 예측 품질을 향상시킵니다.
• EHC 모듈에 다중 헤드 자기주의(MHSA)를 적용하여 압축된 특징을 정밀하게 개선합니다.
• 최종 예측은 레이아웃, 깊이, 의미 분할 등의 작업을 위해 LHFeat에 1차원 컨볼루션 레이어를 적용함으로써 생성됩니다.

실험 결과

연구 질문

• RQ1 압축된 잠재적 특징 표현이 360° 실내 환경 이해에서 열별 및 픽셀 단위의 밀도 예측을 동시에 가능하게 할 수 있는가?
• RQ2 풍경 특징의 수직 압축을 중력에 맞는 구조적 규칙성을 유지하도록 최적화할 수 있는가?
• RQ3 압축된 특징 공간에서 표준 보간 대비 DCT를 통한 주파수 도메인 모델링이 밀도 예측 품질을 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 다양한 360° 환경 이해 작업에서 최신 기술 수준의 방법들과 비교해 성능과 속도 면에서 어떻게 견줄 수 있는가?
• RQ5 통합 네트워크 아키텍처가 레이아웃 추정, 의미 분할, 밀도 깊이 추정에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• HoHoNet는 고해상도 $512\times1024$ 풍경에서 ResNet-50 기준 52 FPS, ResNet-34 기준 110 FPS의 높은 속도를 기록하여 실시간 응용에 매우 효율적입니다.
• 밀도 있는 깊이 추정에서 HoHoNet는 모든 기존 방법들을 능가하며, Stanford2D3D의 고해상도 RGB-D 입력에서 43.3 MAE를 기록했고, 다음으로 우수한 방법과 동일한 성능을 보였습니다.
• 의미 분할에서는 고해상도 RGB-D 입력에서 66.5%의 mIoU를 기록하여 TangentImg의 61.4%를 초월하고, 최고 보고 성능과 동일한 결과를 달성했습니다.
• 레이아웃 추정에서는 총 3D IoU 80.02%와 2D IoU 82.32%를 기록하여 HorizonNet을 능가했고, AtlantaNet과 동등한 성능을 보였으며, 22배 빠른 속도를 기록했습니다.
• h2d 모듈은 LHFeat에서 고품질의 밀도 예측을 가능하게 하여, IDCT를 통한 주파수 도메인 복원이 선형 보간보다 성능을 향상시킨다는 것을 입증했습니다.
• 프레임워크는 단일 압축된 특징 표현을 사용하여 레이아웃, 깊이, 의미 분할을 모두 지원하며, 통합적이고 효율적인 추론을 가능하게 하였습니다.