[논문 리뷰] Deep Structured Scene Parsing by Learning with Image Descriptions

Liang Lin, Guangrun Wang외 4명|arXiv (Cornell University)|2016. 04. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 7

한 줄 요약

이 논문은 수동 애너테이션 없이 이미지 설명을 활용하여 계층적 객체 구조와 객체 간 관계를 학습하는 약한 지도 학습 기반의 딥 CNN-RNN 프레임워크를 제안한다. 문장에서 유도된 의미 트리와 시나리오 구성 간의 정렬을 위해 기대값 최대화(EM) 학습 전략을 사용함으로써, PASCAL VOC 2012에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 종단간 통합 학습을 통해 64.2%의 구조 정확도와 62.8%의 관계 정확도를 기록하였다.

ABSTRACT

This paper addresses a fundamental problem of scene understanding: How to parse the scene image into a structured configuration (i.e., a semantic object hierarchy with object interaction relations) that finely accords with human perception. We propose a deep architecture consisting of two networks: i) a convolutional neural network (CNN) extracting the image representation for pixelwise object labeling and ii) a recursive neural network (RNN) discovering the hierarchical object structure and the inter-object relations. Rather than relying on elaborative user annotations (e.g., manually labeling semantic maps and relations), we train our deep model in a weakly-supervised manner by leveraging the descriptive sentences of the training images. Specifically, we decompose each sentence into a semantic tree consisting of nouns and verb phrases, and facilitate these trees discovering the configurations of the training images. Once these scene configurations are determined, then the parameters of both the CNN and RNN are updated accordingly by back propagation. The entire model training is accomplished through an Expectation-Maximization method. Extensive experiments suggest that our model is capable of producing meaningful and structured scene configurations and achieving more favorable scene labeling performance on PASCAL VOC 2012 over other state-of-the-art weakly-supervised methods.

연구 동기 및 목표

• 수동 애너테이션 없이 인간이 인지할 수 있는 구조적 시나리오 구성 정보를 이미지에서 생성하는 문제에 대응하기 위해.
• 이미지 수준의 서술 문장에서 약한 지도 학습을 활용하여 계층적 객체 구조와 객체 간 관계를 학습하기 위해.
• CNN를 통한 특징 추출과 RNN를 통한 구조적 추론을 약한 지도 학습 방식으로 통합하는 통합 학습 프레임워크를 개발하기 위해.
• 정성 분할과 구성적 시나리오 구조를 동시에 모델링하여 시나리오 분할 성능을 향상시키기 위해.

제안 방법

• 두 가지 분지로 구성된 딥 아키텍처로, 픽셀 수준의 특징 추출을 위한 합성곱 신경망(CNN)과 계층적 객체 구조 및 관계를 모델링하기 위한 재귀 신경망(RNN)을 통합한다.
• 이미지 설명은 표준 파서와 WordNet을 사용하여 의미 트리로 파싱되며, 명사가 객체 카테고리로, 동사구가 상호작용 관계를 나타낸다.
• 기대값 최대화(EM) 유사 학습 절차는 의미 트리에서 유도된 잠재적 시나리오 구성 추정과 역전파를 통한 CNN/RNN 파라미터 갱신을 번갈아 수행한다.
• 학습 목표는 CNN를 통한 객체 레이블 정확도와 RNN를 통한 시나리오 계층의 구조적 일관성 최적화를 동시에 달성하며, 문장에서 파생된 의미 트리에 의해 이끌린다.
• CNN 및 RNN 파라미터의 종단간 통합 학습을 수행하며, 고정, 별도, 통합 학습 전략을 비교하는 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 수동 애너테이션 없이 이미지 설명에서 유도된 약한 지도 학습이 구조적 시나리오 구성 학습에 효과적으로 기여할 수 있는가?
• RQ2 CNN과 RNN의 종단간 통합 학습이 별도 또는 고정된 학습 방식보다 구조적 시나리오 분할 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 이미지 설명에서 파생된 의미 트리가 실제 시나리오의 계층적 및 관계적 구조를 얼마나 정확하게 반영할 수 있는가?
• RQ4 RNN 기반의 구조적 추론 통합이 표준 정성 분할을 넘어서 시나리오 분할 성능 향상에 상당한 기여를 하는가?

주요 결과

• 제안된 방법은 종단간 통합 학습을 통해 PASCAL VOC 2012 검증 세트에서 64.2%의 구조 정확도와 62.8%의 관계 정확도를 달성하였으며, 모든 분석 설정보다 뛰어난 성능을 보였다.
• 고정된 RNN을 사용한 모델는 고정된 CNN보다 유의미하게 열등한 성능를 보였으며, 이는 RNN이 구조적 추론에서 더 중요한 역할을 함을 시사한다.
• CNN와 RNN을 별도로 학습하는 전략은 한쪽을 고정하는 것보다 성능이 뛰어나지만, 여전히 종단간 통합 학습에 비해 상당한 성능 격차를 보였다.
• 통합 학습에서 병합된 지도 학습 전략은 물줄기 전략 대비 IoU에서 10.2% 향상된 성능을 기록하여, 통합 최적화의 유용성을 입증하였다.
• 이 방법은 PASCAL VOC 2012에서 다른 최신 기술 수준의 약한 지도 학습 기반 방법들을 능가하는 유리한 정성 분할 성능를 확보하였다.