[논문 리뷰] Edge-Semantic Learning Strategy for Layout Estimation in Indoor Environment

Weidong Zhang, Wei Zhang외 1명|arXiv (Cornell University)|2019. 01. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 공유 인코더와 이중 디코더 네트워크를 사용하여 단일 렌즈 내부 레이아웃 추정을 위한 새로운 에지-세맨틱 학습 전략을 제안한다. 이 전략은 에지 맵과 세맨틱 레이블을 동시에 예측하고, 점수 함수를 통해 이러한 예측을 통합하여 레이어 샘플링과 사전 정의된 레이아웃 풀을 통해 레이아웃 가설을 보정함으로써 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 이전 방법보다 픽셀 오차에서 최대 2.73% 향상되고, 코너 오차에서 최대 1.13% 향상된다.

ABSTRACT

Visual cognition of the indoor environment can benefit from the spatial layout estimation, which is to represent an indoor scene with a 2D box on a monocular image. In this paper, we propose to fully exploit the edge and semantic information of a room image for layout estimation. More specifically, we present an encoder-decoder network with shared encoder and two separate decoders, which are composed of multiple deconvolution (transposed convolution) layers, to jointly learn the edge maps and semantic labels of a room image. We combine these two network predictions in a scoring function to evaluate the quality of the layouts, which are generated by ray sampling and from a predefined layout pool. Guided by the scoring function, we apply a novel refinement strategy to further optimize the layout hypotheses. Experimental results show that the proposed network can yield accurate estimates of edge maps and semantic labels. By fully utilizing the two different types of labels, the proposed method achieves state-of-the-art layout estimation performance on benchmark datasets.

연구 동기 및 목표

• 단일 렌즈 이미지에서 에지와 세맨틱 정보를 동시에 활용하여 내부 레이아웃 추정 정확도를 향상시키는 것.
• 기존 방법들이 에지 맵이나 세맨틱 레이블을 별도로 사용할 경우 발생하는 저품질 예측과 낮은 강인성 문제를 해결하는 것.
• 소실점 검출에 의존도를 줄여 노이즈와 가림 현상에 민감한 문제를 완화하는 강건한 레이아웃 가설 생성 전략을 개발하는 것.
• 에지 및 세맨틱 예측을 통합하여 픽셀 수준에서 레이아웃 가설을 보정하는 최적화 전략을 도입하는 것.
• 에지 및 세맨틱 예측이 상호 보완적으로 작용하여 전체 레이아웃 추정의 강인성을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 공유 인코더(VGG-16 기반)와 두 개의 별도 디코더(디컨volution 레이어 사용)를 갖춘 이중 디코더 인코더-디코더 네트워크를 설계하여, 에지 맵과 세맨틱 분할 맵을 동시에 예측한다.
• 에지 맵은 벽, 바닥, 천장의 경계를 나타내며, 세맨틱 레이블은 천장, 바닥, 앞벽, 왼쪽 벽, 오른쪽 벽의 다섯 가지 표면을 나타낸다.
• 예측된 에지 및 세맨틱 맵을 조합하는 점수 함수를 통해 레이어 샘플링과 사전 정의된 레이아웃 풀에서 유도된 레이아웃 가설을 평가하고 순위를 매긴다.
• 점수 함수에 의해 이끌리는 최적화 단계를 통해 레이아웃 가설이 보정되어 정확도와 강인성이 향상된다.
• 특히 소실점 검출이 실패하는 혼잡하거나 가림이 있는 장면에서 강인성을 높이기 위해 사전 정의된 레이아웃 풀을 사용한다.
• 에지 및 세맨틱 헤드의 공동 학습을 통해 상호 보완적 개선이 이루어지며, 추론 과정에서 각 모odal이 상대의 약점을 상쇄함으로써 성능 향상이 가능하다.

실험 결과

연구 질문

• RQ1 에지 맵과 세맨틱 레이블을 별도로 학습하는 것과 비교해, 이 둘을 함께 학습하는 것이 레이아웃 추정 정확도를 향상시키는가?
• RQ2 에지 및 세맨틱 예측의 조합은 가림이나 혼잡한 환경에서 강인성을 어떻게 향상시키는가?
• RQ3 사전 정의된 레이아웃 풀과 레이어 샘플링을 조합하면 소실점 기반 방법보다 더 신뢰할 수 있는 레이아웃 가설을 생성할 수 있는가?
• RQ4 제안된 최적화 전략은 初기 가설을 초월해 최종 레이아웃 예측 정확도를 어느 정도 향상시키는가?
• RQ5 에지 및 세맨틱 예측 간 상호 보완성이 다양한 내부 환경 레이아웃에 대한 일반화 능력을 향상시키는가?

주요 결과

• 제안된 방법은 LSUN 및 Hedau 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하였으며, LSUN에서 픽셀 오차는 2.73% 향상되고, 코너 오차는 1.13% 향상되었다.
• 에지 및 세맨틱 헤드의 공동 학습은 단일 작업 학습 대비 에지 오차와 세맨틱 오차를 모두 감소시켜 학습 과정에서 상호 보완적 이점이 있음을 보여준다.
• 특히 벽이 가구나 문에 의해 가려진 심한 가림 상황에서도 정확도 높은 에지 및 세맨틱 예측을 생성한다.
• 사전 정의된 레이아웃 풀의 사용은 비표준 시점이나 복잡한 구조를 가진 장면에서 강인성을 크게 향상시킨다.
• 레이어 샘플링 가설(Lv)에 레이아웃 풀 가설(Lp)을 추가함으로써 레이아웃 오차와 레이아웃 유형 정확도가 모두 향상되어, 레이아웃 유사성에 대한 사전 지식의 가치를 확인한다.
• 제안된 최적화 전략은 측정 가능한 정확도 향상을 이끌어내었으며, 에지 및 세맨틱 점수를 통합한 기반의 보정이 최종 레이아웃 품질 향상에 기여함을 보여준다.