[논문 리뷰] Scene Parsing with Global Context Embedding

Wei-Chih Hung, Yi‐Hsuan Tsai외 5명|arXiv (Cornell University)|2017. 10. 17.

Multimodal Machine Learning Applications참고 문헌 27인용 수 15

한 줄 요약

이 논문은 유사한 이미지 간의 전역적 맥락을 학습하기 위해 비지도 학습 방식의 시아모닉 네트워크를 사용하고, 전역적 맥락 특징 인코딩과 비모수적 사전 인코딩이라는 두 가지 새로운 인코딩 모듈을 도입함으로써 의미 분할 성능을 향상시키는 시나리오 분석 방법을 제안한다. 이 방법은 거짓 양성 예측를 줄임으로써 분할 정확도를 향상시키며, MIT ADE20K 및 PASCAL Context 데이터셋에서 기준 모델 대비 최대 4.43% 향상된 평균 IU 성능을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

We present a scene parsing method that utilizes global context information based on both the parametric and non- parametric models. Compared to previous methods that only exploit the local relationship between objects, we train a context network based on scene similarities to generate feature representations for global contexts. In addition, these learned features are utilized to generate global and spatial priors for explicit classes inference. We then design modules to embed the feature representations and the priors into the segmentation network as additional global context cues. We show that the proposed method can eliminate false positives that are not compatible with the global context representations. Experiments on both the MIT ADE20K and PASCAL Context datasets show that the proposed method performs favorably against existing methods.

연구 동기 및 목표

• 기존의 시나리오 분석 방법이 국소적 맥락에만 의존하여 모래나 벽과 같은 모호한 영역에서 거짓 양성 예측를 유발하는 한계를 해결하기 위해.
• 분류 카테고리 레이블을 추론 시 요구하지 않으면서도 전역적 시나리오 맥락을 통합하여 분할 정확도를 향상시키기 위해.
• 희귀 및 일반 클래스에 대한 일반화 능력을 향상시키기 위해 파rametric 및 비모수적 맥락 모델링을 모두 활용하는 효율적이고 확장 가능한 방법을 개발하기 위해.
• 최신의 FCN 기반 분할 네트워크에 전역적 맥락 신호를 최소한의 계산 비용으로 통합하기 위해.

제안 방법

• 이미지 쌍 간의 시나리오 유사도를 기반으로 전역적 맥락 표현을 학습하기 위해 비지도 학습 방식의 시아모닉 네트워크를 훈련하며, 희귀 객체 및 표면 카테고리에 집중한다.
• 학습된 표현을 분할 네트워크를 통해 전파하여 추가적인 맥락 신호로 사용하는 전역적 맥락 특징 인코딩을 수행한다.
• 사전에 계산된 컴팩트한 특징을 사용해 유사한 이미지를 검색하고, 검색된 이미지로부터 전역적 및 공간적 사전을 생성하는 비모수적 사전 인코딩을 수행한다.
• 사전 생성 과정은 K=5의 최근접 이웃 검색과 50×50 공간 그리드를 사용하여 공간적으로 인식 가능한 맥락을 효율적으로 인코딩한다.
• 기존의 FCN 기반 네트워크인 FCN-8s와 DeepLab에 파rametric 특징 인코딩과 비모수적 사전 인코딩을 아키텍처 변경 없이 통합한다.
• 이전의 비모수적 방법과 비교해 계산 비용을 줄이기 위해 이미지 수준에서 사전에 계산된 특징을 사용해 검색을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 이미지 간의 시나리오 유사도를 모델링함으로써 비지도 학습을 통한 전역적 맥락 표현 학습이 시나리오 분석 성능 향상에 기여할 수 있는가?
• RQ2 학습된 전역적 맥락 특징과 비모수적 사전의 통합이 모호한 영역에서의 거짓 양성 예측 감소에 얼마나 효과적인가?
• RQ3 제안된 방법이 MIT ADE20K와 같은 복잡한 데이터셋에서 일반적이고 희귀한 의미 클래스 모두에 잘 일반화되는가?
• RQ4 기존 최신 기술 수준의 분할 네트워크에 전역적 맥락 임베딩을 최소한의 추론 오버헤드로 효율적으로 적용할 수 있는가?

주요 결과

• MIT ADE20K 데이터셋에서, 특징 인코딩과 사전 인코딩을 모두 사용한 경우 기준 모델인 DeepLab 대비 평균 IU가 4.43% 향상되었다.
• 비록 특징 인코딩 없이 사전 인코딩만 사용한 경우에도 FCN-8s에서 평균 IU가 3.53% 향상되고, DeepLab에선 3.42% 향상되어 뚜렷한 성능 향상을 보였다.
• 희귀 클래스의 경우 평균 IU가 4.64% 향상되어 부족한 의미 카테고리에 대한 효과적인 대응이 가능함을 시사한다.
• PASCAL Context 데이터셋에서 평균 IU는 46.52%, 픽셀 정확도는 73.80%를 기록하여 CRF-RNN 및 HO_CRF와 같은 최신 기술 수준의 방법들을 초월했다.
• 해변 영상에서 모래를 산으로 잘못 분류하는 등의 모호한 영역에서 전역적 시나리오 일관성을 강제함으로써 거짓 양성 예측를 감소시켰다.
• 단일 이미지의 추론 시간은 GPU에서 1.4초이며, 사전 인코딩 모듈로 인한 오버헤드는 오직 0.7초에 불과하여 계산 효율성이 높음을 보였다.