[논문 리뷰] Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts

Mingmin Zhen, Jinglu Wang외 6명|arXiv (Cornell University)|2020. 04. 16.

Advanced Neural Network Applications참고 문헌 39인용 수 18

한 줄 요약

이 논문은 반복적 피라미드 컨텍스트 모듈(PCM)을 사용하여 다중 작업 학습 프레임워크인 RPCNet을 제안한다. 이는 의미 분할과 의미 경계 검출을 동시에 수행하며, 상호작용을 통해 특징을 개선한다. 공간적 기울기 융합을 도입하여 비의미적 경계를 억제하고, 경계 일致성을 강제하기 위한 이중성 손실(duality loss)을 도입하여, Cityscapes에서 81.8% mIoU와 경계 검출에서 9.9% AP 향상을 달성하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we present a joint multi-task learning framework for semantic segmentation and boundary detection. The critical component in the framework is the iterative pyramid context module (PCM), which couples two tasks and stores the shared latent semantics to interact between the two tasks. For semantic boundary detection, we propose the novel spatial gradient fusion to suppress nonsemantic edges. As semantic boundary detection is the dual task of semantic segmentation, we introduce a loss function with boundary consistency constraint to improve the boundary pixel accuracy for semantic segmentation. Our extensive experiments demonstrate superior performance over state-of-the-art works, not only in semantic segmentation but also in semantic boundary detection. In particular, a mean IoU score of 81:8% on Cityscapes test set is achieved without using coarse data or any external data for semantic segmentation. For semantic boundary detection, we improve over previous state-of-the-art works by 9.9% in terms of AP and 6:8% in terms of MF(ODS).

연구 동기 및 목표

• 의미 분할과 경계 검출을 별개의 작업으로 간주하는 기존 방법의 한계를 해결하기 위해, 이 둘 사이의 상호관계를 고려한 접근이 필요하다.
• 마스크 윤곽과 진짜 경계 사이의 이중성 관계를 활용하여 의미 분할의 경계 정확도를 향상시키기.
• 의미 분할 마스크에서 유도된 공간적 기울기를 통해 비의미적 경계를 억제함으로써 경계 검출의 정확도를 높이기.
• 의미 분할과 경계 검출 간의 반복적 특징 개선을 가능하게 하는 피라미드 컨텍스트 모듈을 통한 통합 학습 프레임워크 개발.
• 의미 분할 및 의미 경계 검출 벤치마크에서 최신 기술 수준의 성능 달성.

제안 방법

• 반복적 피라미드 컨텍스트 모듈(PCM)은 다중 스케일의 문맥적 특징을 사용하여 의미 분할과 경계 검출 작업 간에 특징 맵을 번갈아가며 개선한다.
• 경계 검출을 위해, 의미 마스크에서 유도된 공간적 기울기(∇M)가 조각자르기 연결을 통해 확률 맵과 융합되어 비의미적 경계를 억제한다.
• 예측 마스크에서 유도된 경계(외곽선)와 진짜 경계 간의 일치성을 강제하기 위해 새로운 이중성 손실을 도입한다.
• 이 이중성 손실은 미분 가능하며, 엔드 투 엔드 학습 중 적용되어 분할의 경계 픽셀 정확도를 향상시킨다.
• 백본으로 ResNet-101을 사용하고, 도메인 특화된 정밀한 애너테이션 데이터만을 사용하여 Cityscapes에서 학습한다.
• 의미 분할과 경계 검출에 표준 교차 엔트로피 손실를 사용하고, 이중성 손실와 결합하여 최적화한다.

실험 결과

연구 질문

• RQ1 의미 분할과 의미 경계 검출을 통합적으로 학습하면 두 작업의 성능 향상이 가능할까?
• RQ2 비의미적 경계는 어떻게 효과적으로 억제할 수 있을까?
• RQ3 의미 분할 마스크와 그 경계 사이의 이중성 관계를 활용하여 경계 정확도를 향상시킬 수 있을까?
• RQ4 작업 간 반복적인 다중 스케일 컨텍스트 집합이 성능 향상에 기여할까?
• RQ5 외부 또는 군중 데이터 없이도 통합 프레임워크가 최신 기술 수준의 방법을 초월할 수 있을까?

주요 결과

• RPCNet은 도메인 특화된 정밀한 애너테이션 데이터만을 사용하여 Cityscapes 테스트 세트에서 81.8% mIoU를 달성하며, 이는 이전 최신 기술 수준(SOTA) 방법을 능가한다.
• 이전 SOTA 방법인 CASENet*에 비해 경계 검출에서 AP가 9.9% 향상되고, MF(ODS)가 6.8% 향상되었다.
• 공간적 기울기 융합을 통합함으로써 비의미적 경계에서의 오진 예측(false positives)이 감소하여 더 깔끔하고 정확한 경계 예측이 가능해졌다.
• 이중성 손실은 정량적 결과뿐 아니라 정성적 결과에서도 경계 픽셀 정확도를 크게 향상시켰으며, 이로 인해 이전에는 잘못 분류되었던 객체(예: 'Pole')가 정확하게 분할되는 결과를 보였다.
• 반복적 피라미드 컨텍스트 모듈은 효과적인 상호작용 기반 특징 개선을 가능하게 하여 두 작업 모두에서 일관된 성능 향상을 이끌어냈다.
• 제거 실험(ablation studies) 결과, 공간적 기울기 융합과 이중성 손실 모두가 최종 성능 향상에 독립적으로 기여하며 상호 보완적인 효과를 보였다.