[논문 리뷰] Geometric Scene Parsing with Hierarchical LSTM

Zhanglin Peng, Ruimao Zhang외 3명|arXiv (Cornell University)|2016. 04. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 23인용 수 10

한 줄 요약

이 논문은 기하학적 장면 해석을 동시에 수행하는 계층적 장단기 기억(계층적 LSTM, H-LSTM)을 제안한다. 이 모델은 픽셀 단위의 표면 레이블(예: 하늘, 지면)과 영역 간 상호작용 관계(예: 지지, 맞닿음)를 예측한다. 모델은 국소적 공간적 맥락을 위해 결합된 픽셀 LSTM(P-LSTM)과 계층적 전역 추론을 위해 다중 척도 슈퍼픽셀 LSTM(MS-LSTM)을 사용하여 SIFT-Flow 및 LM+SUN 데이터셋에서 최신 기술 수준(SOTA) 성능를 달성하고 단일 이미지에서 정확한 3차원 재구성을 가능하게 한다.

ABSTRACT

This paper addresses the problem of geometric scene parsing, i.e. simultaneously labeling geometric surfaces (e.g. sky, ground and vertical plane) and determining the interaction relations (e.g. layering, supporting, siding and affinity) between main regions. This problem is more challenging than the traditional semantic scene labeling, as recovering geometric structures necessarily requires the rich and diverse contextual information. To achieve these goals, we propose a novel recurrent neural network model, named Hierarchical Long Short-Term Memory (H-LSTM). It contains two coupled sub-networks: the Pixel LSTM (P-LSTM) and the Multi-scale Super-pixel LSTM (MS-LSTM) for handling the surface labeling and relation prediction, respectively. The two sub-networks provide complementary information to each other to exploit hierarchical scene contexts, and they are jointly optimized for boosting the performance. Our extensive experiments show that our model is capable of parsing scene geometric structures and outperforming several state-of-the-art methods by large margins. In addition, we show promising 3D reconstruction results from the still images based on the geometric parsing.

연구 동기 및 목표

• 표면 레이블과 영역 간 상호작용 관계를 동시에 예측해야 하는 기하학적 장면 해석의 과제를 해결한다.
• 기존의 의미적 세그멘테이션의 한계를 극복하기 위해 풍부한 다중 척도 맥락 정보를 통합하여 강력한 기하학적 구조 이해를 가능하게 한다.
• 계층적 순환 신경망을 사용하여 표면 레이블링과 관계 예측을 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발한다.
• 기하학적 해석 출력을 구조적 사전 지식으로 활용하여 단일 시점 이미지에서 정확한 3차원 재구성을 가능하게 한다.
• 복잡한 장면 구조를 모델링하는 데 있어 다중 작업 학습과 계층적 특징 표현의 효과를 입증한다.

제안 방법

• 이미지의 초기 특징을 추출하기 위해 공유된 컨볼루션 기반 백본을 사용한 후, 이를 두 개의 병렬 하위 네트워크인 픽셀 LSTM(P-LSTM)과 다중 척도 슈퍼픽셀 LSTM(MS-LSTM)에 입력한다.
• P-LSTM를 통해 픽셀 단위로 순차적으로 특징을 처리하여 국소적 공간적 의존성을 모델링하고 세분화된 표면 레이블링을 향상시킨다.
• 다중 척도 슈퍼픽셀 표현(16, 32, 48, 64, 128)에 MS-LSTM를 적용하여 상호작용 관계 예측을 위한 계층적 맥락 정보를 캡처한다.
• 각 MS-LSTM 레이어 후 관계 예측을 출력함으로써 딥 서포비전을 구현하여 특징 학습과 모델 최적화를 향상시킨다.
• 양 하위 네트워크를 엔드 투 엔드로 공동 학습시켜 P-LSTM와 MS-LSTM가 공유된 기울기를 통해 상호 보완적인 맥락을 통해 상호 이점을 얻을 수 있도록 한다.
• 장단기 기억 유닛을 활용하여 다양한 수준의 공간 추상화에서 장거리 의존성을 선택적으로 유지하고 전파한다.

실험 결과

연구 질문

• RQ1 순환 신경망이 기하학적 장면 해석을 위해 국소적 및 전역적 장면 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 표면 레이블링과 상호작용 관계 예측을 동시에 최적화하는 것이 별도 학습보다 성능 향상에 기여하는가?
• RQ3 단일 척도나 픽셀 수준의 모델링에 비해 다중 척도 슈퍼픽셀 표현이 관계 예측에 얼마나 향상되는가?
• RQ4 제안된 H-LSTM 프레임워크는 기하학적 해석 출력만을 사용하여 단일 이미지에서 정확한 3차원 재구성을 가능하게 하는가?
• RQ5 H-LSTM의 계층적 구조는 기하학적 구조를 포착하는 데 있어 표준 컨볼루션 또는 단일 척도 LSTM 아키텍처에 비해 어떻게 비교되는가?

주요 결과

• H-LSTM 모델은 SIFT-Flow 데이터셋에서 픽셀 단위 정확도 95.41%와 LM+SUN 데이터셋에서 91.34%를 기록하여 모든 아블레이션 변형보다 뛰어난 성능을 보였다.
• 다중 척도 슈퍼픽셀 맵을 사용한 다섯 개의 MS-LSTM 레이어는 SIFT-Flow에서 평균 정밀도 91.2%, LM+SUN에서 95.8%, G-Context에서 90.8%의 상호작용 관계 예측 성능을 달성했다.
• 아블레이션 연구에서 P-LSTM를 다섯 개의 컨볼루션 레이어로 대체한 경우 SIFT-Flow에서 픽셀 정확도가 94.66%로 떨어졌으며, 이는 장거리 의존성을 모델링하는 데서 순환 모델링의 우수성을 입증한다.
• 다중 작업 학습을 제거한 경우(즉, MS-LSTM 없이 P-LSTM만 학습) 성능에 심각한 하락이 발생하여 두 작업 간 상호 이점이 확인되었다.
• 단일 척도 슈퍼픽셀(S-LSTM)를 사용한 경우 다중 척도 H-LSTM보다 성능이 떨어져 계층적 특징 학습의 우수성을 입증하였다.
• 모델은 정성적 결과를 통해 일관되고 타당한 3차원 장면 구조를 보여줌으로써 단일 이미지에서 고품질의 3차원 재구성을 가능하게 했다.