[논문 리뷰] Deep Hierarchical Parsing for Semantic Segmentation

Abhishek Sharma, Oncel Tuzel외 1명|arXiv (Cornell University)|2015. 03. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 15

한 줄 요약

이 논문은 구문 트리의 순수 노드(pure-nodes)에 대한 분류 손실을 도입하여 RCPN의 오차 경로를 완화하고, 구문 트리 노드 간의 계층적 의존성을 모델링하기 위해 트리 구조 MRF를 도입함으로써 의미 분할을 위한 딥 히에라르키컬 파싱을 제안한다. 그 결과, TM-RCPN 모델은 스탠포드 배경, SIFT-Flow, Daimler 도시 데이터셋에서 최신 기술 수준의 성능을 달성하며, 픽셀당 정확도와 평균 클래스 정확도에서 뚜렷한 향상을 보였고, 실시간 추론 가능성을 유지한다.

ABSTRACT

This paper proposes a learning-based approach to scene parsing inspired by the deep Recursive Context Propagation Network (RCPN). RCPN is a deep feed-forward neural network that utilizes the contextual information from the entire image, through bottom-up followed by top-down context propagation via random binary parse trees. This improves the feature representation of every super-pixel in the image for better classification into semantic categories. We analyze RCPN and propose two novel contributions to further improve the model. We first analyze the learning of RCPN parameters and discover the presence of bypass error paths in the computation graph of RCPN that can hinder contextual propagation. We propose to tackle this problem by including the classification loss of the internal nodes of the random parse trees in the original RCPN loss function. Secondly, we use an MRF on the parse tree nodes to model the hierarchical dependency present in the output. Both modifications provide performance boosts over the original RCPN and the new system achieves state-of-the-art performance on Stanford Background, SIFT-Flow and Daimler urban datasets.

연구 동기 및 목표

• 학습 중 효과적인 맥락 전파를 방해하는 RCPN 아키텍처 내 오차 경로를 해결하기 위해.
• 랜덤 구문 트리 내 내부 노드(pure-node)의 예측을 추가적인 감독으로 활용하여 특징 표현과 일반화 능력을 향상시키기 위해.
• 내부 노드에서 추정한 레이블 분포를 기반으로 한 트리 구조 MRF를 도입하여 구문 트리 노드 간의 계층적 의존성을 모델링하기 위해.
• 기존 RCPN 프레임워크의 속도 우수성을 유지하면서도 의미 분할 분야에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 랜덤 이진 구문 트리 내 순수 노드(단일 의미 카테고리에 해당하는 노드)의 분류 손실을 포함하는 수정된 손실 함수를 도입하여 기울기를 강화하고 맥락 전파의 오버랩을 방지한다.
• 순수 노드에서 예측된 레이블 분포를 사전 지식으로 사용하여 구문 트리 노드 위에 트리 구조 MRF를 정의하고, 예측의 계층적 일관성을 강제한다.
• 구조적 계산 그래프를 통해 백프로파게이션을 통해 엔드 투 엔드로 모델을 훈련시키며, 기존 RCPN 아키텍처에 새로운 손실 함수와 MRF 추론을 통합한다.
• 시각적 표현을 위해 다중 해상도 CNN 특징을 사용하고, 이후 의미 매핑기, 재귀 조합기, 루트 특징 집합, 분해기 등을 통해 전역 맥락을 확산시킨다.
• 테스트 중 MRF 추론을 적용하여 구문 트리의 부모-자식 노드 간에 레이블 일관성을 전파함으로써 예측을 정밀하게 보정한다.
• 픽셀 수준의 교차 엔트로피 손실과 새로운 순수 노드 및 MRF 기반 손실을 조합한 공동 목적 함수를 사용하여 픽셀 분류 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 RCPN 아키텍처 내 오차 경로가 맥락 특징 학습에 어떤 영향을 미치며 성능 저하를 유도하는가?
• RQ2 구문 트리 내 순수 내부 노드에 대한 분류 손실을 도입하면 모델의 일반화 능력 향상과 맥락 전파의 오버랩 감소에 기여하는가?
• RQ3 구문 트리 노드에 대해 트리 구조 MRF를 적용함으로써 계층적 의존성을 모델링함으로써 예측 일관성과 분할 정확도가 얼마나 향상되는가?
• RQ4 순수 노드 감독과 트리 MRF의 조합이 표준 의미 분할 벤치마크에서 최신 기술 수준의 성능를 달성하는가?

주요 결과

• 제안된 순수 노드 RCPN(PN-RCPN)은 스탠포드 배경 데이터셋에서 80.9%의 픽셀당 정확도(PPA)와 39.1%의 평균 클래스 정확도(MCA)를 달성하여 기존 RCPN(79.6% PPA, 33.6% MCA)을 초월했다.
• 트리 MRF RCPN(TM-RCPN)는 스탠포드 배경 데이터셋에서 80.8% PPA와 38.4% MCA를 기록하여 MRF 추론을 통한 계층적 모델링의 효과를 입증했다.
• Daimler 도시 데이터셋에서 TM-RCPN는 94.5% PPA와 90.1% MCA를 달성하여 스테레오, 깊이, 다중 프레임 시간 정보를 사용하는 이전 방법들과 비교해도 동등하거나 슈퍼어리어를 기록했다.
• 실시간 초상소형화를 사용할 경우 NVIDIA Titan Black GPU에서 이미지당 총 추론 시간이 100ms 이내로 유지되어 실시간 추론 가능성을 유지했다.
• 순수 노드 감독을 통해 RCPN이 깊은 층에서 기울기가 강화되어 픽셀 단위의 다층 네트워크로 붕괴되는 위험을 줄였다.
• MRF 구성 요소는 Daimler 도시 데이터셋에서 동적 객체(Car, Pedestrian)의 IoU를 73.8%로 향상시켜 복잡하고 소규모 의미 카테고리의 처리 능력을 향상시켰다.