[논문 리뷰] HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation

Cheng Sun, Chi-Wei Hsiao외 2명|arXiv (Cornell University)|2019. 01. 12.

Advanced Vision and Imaging참고 문헌 34인용 수 17

한 줄 요약

HorizonNet는 원형 영상에서 3D 실내 레이아웃 추정을 위한 1D 표현을 제안하며, 각 이미지 컬럼마다 바닥-벽, 천장-벽, 벽-벽 경계 위치를 인코딩합니다. 효율적인 후처리 단계를 통해 낮은 계산 비용으로 최신 기술 수준(SOTA) 성능을 달성하고, Pano Stretch 데이터 증강 기법을 도입하여 다양한 설정에서 정확도를 향상시키며, 미세조정을 통해 비직육면체 레이아웃으로의 일반화를 가능하게 합니다.

ABSTRACT

We present a new approach to the problem of estimating the 3D room layout from a single panoramic image. We represent room layout as three 1D vectors that encode, at each image column, the boundary positions of floor-wall and ceiling-wall, and the existence of wall-wall boundary. The proposed network, HorizonNet, trained for predicting 1D layout, outperforms previous state-of-the-art approaches. The designed post-processing procedure for recovering 3D room layouts from 1D predictions can automatically infer the room shape with low computation cost - it takes less than 20ms for a panorama image while prior works might need dozens of seconds. We also propose Pano Stretch Data Augmentation, which can diversify panorama data and be applied to other panorama-related learning tasks. Due to the limited data available for non-cuboid layout, we relabel 65 general layout from the current dataset for finetuning. Our approach shows good performance on general layouts by qualitative results and cross-validation.

연구 동기 및 목표

• 원형 실내 레이아웃 추정을 위한 훈련 데이터의 제한성, 모호성, 일반화 불가능성 문제를 해결하기 위해.
• 정확도를 유지하거나 향상시키면서 모델 복잡도와 추론 비용을 줄이기 위해.
• 원형 기하학에 맞는 데이터 증강 전략을 개발하여 더 많은 애너테이션 데이터 없이도 일반화 성능을 향상시키기 위해.
• 재애너테이션된 데이터로 미세조정을 통해 비직육면체 및 오목한 실내 레이아웃을 정확하게 예측할 수 있도록 하기 위해.
• 전체 실내 레이아웃을 효율적으로 인코딩하면서 기하학적 일관성을 유지하는 컴act한 1D 표현을 설계하기 위해.

제안 방법

• 각 경계 유형(바닥-벽, 천장-벽, 벽-벽)에 대해 하나의 1D 벡터로 전체 실내 레이아웃을 표현하며, 각 이미지 컬럼에 해당하는 값들을 포함합니다.
• 장거리 기하학적 의존성을 원형 영상 전반에 걸쳐 모델링하기 위해 ResNet 기반 백본과 RNN을 사용합니다.
• Pano Stretch 데이터 증강을 적용하여 훈련 중에 원형 영상을 수평축 방향으로 늘여서 기하학적 다양성을 증가시킵니다.
• 기하학적 제약 조건을 활용해 1D 예측을 3D 레이아웃으로 변환하는 빠른 후처리 파이프라인을 사용하여 이미지당 20ms 이내로 3D 레이아웃을 복구합니다.
• 비직육면체 레이아웃 65개의 재애너테이션된 데이터로 모델을 미세조정하여 오목하거나 복잡한 직선형이 아닌 실내 형태의 성능을 향상시킵니다.
• 밀도 높은 2D 출력 헤드를 1D 표현으로 대체하여 파rameter와 계산량을 줄이고 예측 정확도를 향상시킵니다.

실험 결과

연구 질문

• RQ1 기존 2D 밀도 예측 방식에 비해 1D 표현 방식이 정확도와 효율성 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ2 Pano Stretch 데이터 증강 기법이 원형 레이아웃 추정 작업의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 RNN이 원형 레이아웃의 장거리 기하 패턴을 효과적으로 모델링하여 예측 일관성을 향상시킬 수 있는가?
• RQ4 직육면체 레이아웃으로 훈련된 모델이 비직육면체 및 오목한 실내 레이아웃으로 얼마나 잘 일반화되는가?
• RQ5 제안된 후처리 방법이 최소한의 계산 비용으로 고속 3D 레이아웃 복구를 어떻게 달성하는가?

주요 결과

• 65개의 재애너테이션된 비직육면체 레이아웃에 대한 13겹 교차검증에서 HorizonNet은 3D IoU 82.5%를 달성하여 LayoutNet보다 7.4%포인트 높은 성능을 보였습니다.
• 1D 표현과 RNN을 사용한 모델는 파rameter와 계산량이 적어도, 밀도 높은 2D 예측 방식보다 더 뛰어난 성능을 달성했습니다.
• Pano Stretch 데이터 증강 기법은 모든 실험 설정에서 일관되게 성능 향상을 보이며, 그 효과성과 일반화 능력을 입증했습니다.
• 후처리 단계는 이미지당 20ms 이내로 3D 레이아웃을 복구하여 이전 방법들이 수십 초가 걸리는 것과 비교해 뚜렷한 속도 향상을 보였습니다.
• RNN을 사용한 모델는 후처리 없이도 맨하탄 월드 기하학에 매우 일관된 원시 출력을 생성하여, 레이아웃 구조에 강력한 인덕티브 바이어스를 지닌 것으로 나타났습니다.
• 65개의 재애너테이션된 비직육면체 레이아웃으로의 미세조정을 통해 모델은 오목하거나 가림이 있는 모서리가 있는 복잡한 실내 형태로의 일반화가 가능해졌습니다.