[논문 리뷰] Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation

Rania Briq, Michael Moeller외 1명|arXiv (Cornell University)|2018. 07. 24.

Advanced Neural Network Applications참고 문헌 15인용 수 9

한 줄 요약

이 논문은 영역 사전 지식을 사용하여 특징 맵을 확률 단체로 사영함으로써 약한 지도 학습 세그멘테이션에서 객체 크기 제약 조건을 강제하는 새로운 미분 가능 레이어인 컨볼루션 심플렉스 프로젝션 네트워크(CSPN)를 제안한다. 최첨단 모델에 통합된 결과, PASCAL VOC 2012에서 mIoU가 3.5% 향상되어 이미지 수준의 레이블만으로도 54.5%의 mIoU를 달성하였다.

ABSTRACT

Weakly supervised semantic segmentation has been a subject of increased interest due to the scarcity of fully annotated images. We introduce a new approach for solving weakly supervised semantic segmentation with deep Convolutional Neural Networks (CNNs). The method introduces a novel layer which applies simplex projection on the output of a neural network using area constraints of class objects. The proposed method is general and can be seamlessly integrated into any CNN architecture. Moreover, the projection layer allows strongly supervised models to be adapted to weakly supervised models effortlessly by substituting ground truth labels. Our experiments have shown that applying such an operation on the output of a CNN improves the accuracy of semantic segmentation in a weakly supervised setting with image-level labels.

연구 동기 및 목표

• 픽셀 수준의 레이블이 제공되지 않는 약한 지도 학습 세그멘테이션 문제를 해결하기 위해 이미지 수준의 레이블과 객체 크기 사전 지식을 활용한다.
• 반복 최적화 단계 없이 네트워크 내부에서 직접 크기 제약 조건을 강제하는 실용적이고 엔드 투 엔드로 훈련 가능한 레이어를 개발한다.
• 합리적인 객체 크기 분포를 보장하는 프로젝션 레이어를 통합하여 약한 지도 학습 환경에서의 세그멘테이션 정확도를 향상시킨다.
• 기존 강한 지도 학습 모델을 약한 지도 학습 환경에 간편하게 적용할 수 있도록, 진짜 레이블 대신 단체 사영 제약 조건을 도입한다.

제안 방법

• 예측 클래스 확률이 합이 1이 되도록 보장하는 확률 단체로 네트워크 출력을 사영하는 미분 가능 단체 사영 레이어를 도입한다.
• 클래스별 사전 지식 맵에서 유도된 영역 제약 조건을 적용하여 사영에 적합한 영역을 정의함으로써 객체 크기 사전 지식이 유지되도록 한다.
• 제약 조건 강제를 위해 임계값 τ = 1/8를 사용한 이산화된 사전 지식 맵을 통해 객체 영역을 정의하고, 각 클래스의 총 면적을 계산한다.
• Duchi 등 (2008)의 알고리즘을 사용해 선형 시간 내에 사영을 수행함으로써, 어떤 CNN 아키텍처에도 효율적이고 확장 가능한 방식으로 통합할 수 있다.
• SEC 프레임워크에서 확장 손실을 사영 손실로 대체하면서도, 경계 정밀화를 위한 시드 손실과 CRF 기반 제약 손실을 유지한다.
• 최종 세그멘테이션 맵을 생성하기 위해 사영 후 argmax를 사용하며, 추론 실험 결과 소프트맥스는 성능 저하를 초래함을 확인했다.

실험 결과

연구 질문

• RQ1 반복 최적화 없이도 약한 지도 학습 세그멘테이션에서 객체 크기 제약 조건을 강제할 수 있는 미분 가능하고 엔드 투 엔드로 훈련 가능한 레이어를 설계할 수 있는가?
• RQ2 기존의 제약 기반 방법과 비교했을 때 단체 사영은 정확도와 훈련 효율성 측면에서 어떤가?
• RQ3 기존의 약한 지도 학습 모델과 결합했을 때 프로젝션 레이어 통합이 성능 향상에 얼마나 기여하는가?
• RQ4 사전 지식 기반 영역 선택에 적합한 임계값은 무엇인가?
• RQ5 제안된 레이어는 아키텍처 수정 없이 기존의 CNN 아키텍처에 원활하게 통합될 수 있는가?

주요 결과

• SEC 프레임워크에 통합된 제안된 CSPN 레이어는 PASCAL VOC 2012 검증 세트에서 mIoU를 기존 SEC 기준 51.0%에서 54.5%로 향상시켰다.
• mIoU가 +3.5% 향상된 것은 추가적인 감독 없이도 단체 사영이 객체 크기 사전 지식을 효과적으로 강제함을 보여준다.
• 사전 지식 맵 영역 선택에 임계값 τ = 1/8를 사용할 경우 최적의 성능을 달성하며, 1/16에서 1/4 사이의 임계값도 안정적인 성능을 제공한다.
• 제약 손실(CRF 기반)을 생략하면 정확도가 떨어지므로, 단독으로 단체 사영만으로는 경계 인식 보정을 대체할 수 없다.
• 확장 손실과 사영 손실을 동시에 추가하면 성능이 악화되므로, 크기 제약 조건에 과도하게 초점을 맞추는 것은 세그멘테이션 품질에 악영향을 준다.
• 사영 후 argmax를 softmax로 대체하면 mIoU가 54.5%에서 50.2%로 떨어지므로, 이 설정에서는 딱딱한 클래스 할당이 더 효과적임을 확인했다.