[논문 리뷰] Dynamic-structured Semantic Propagation Network

Xiaodan Liang, Hongfei Zhou외 1명|arXiv (Cornell University)|2018. 03. 16.

Advanced Neural Network Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 동적-구조적 의미 전파 네트워크(DSSPN)를 제안하며, 이는 이미지당 관련이 있는 뉴런들만 활성화되는 동적-구조적 뉴런 그래프를 통해 의미 개념 계층을 명시적으로 모델링하는 새로운 의미 분할 프레임워크이다. 모든 조상 뉴런으로부터 지식을 전파하기 위해 밀집된 의미 강화 블록을 사용함으로써, DSSPN은 네 가지 벤치마크에서 최신 기술 성능(SOTA)을 달성하고, 다양한 데이터셋을 통합해 훈련할 수 있는 통합 모델을 가능하게 하여, 작업별 맞춤 미세조정을 뛰어넘는 성능을 발휘한다.

ABSTRACT

Semantic concept hierarchy is still under-explored for semantic segmentation due to the inefficiency and complicated optimization of incorporating structural inference into dense prediction. This lack of modeling semantic correlations also makes prior works must tune highly-specified models for each task due to the label discrepancy across datasets. It severely limits the generalization capability of segmentation models for open set concept vocabulary and annotation utilization. In this paper, we propose a Dynamic-Structured Semantic Propagation Network (DSSPN) that builds a semantic neuron graph by explicitly incorporating the semantic concept hierarchy into network construction. Each neuron represents the instantiated module for recognizing a specific type of entity such as a super-class (e.g. food) or a specific concept (e.g. pizza). During training, DSSPN performs the dynamic-structured neuron computation graph by only activating a sub-graph of neurons for each image in a principled way. A dense semantic-enhanced neural block is proposed to propagate the learned knowledge of all ancestor neurons into each fine-grained child neuron for feature evolving. Another merit of such semantic explainable structure is the ability of learning a unified model concurrently on diverse datasets by selectively activating different neuron sub-graphs for each annotation at each step. Extensive experiments on four public semantic segmentation datasets (i.e. ADE20K, COCO-Stuff, Cityscape and Mapillary) demonstrate the superiority of our DSSPN over state-of-the-art segmentation models. Moreoever, we demonstrate a universal segmentation model that is jointly trained on diverse datasets can surpass the performance of the common fine-tuning scheme for exploiting multiple domain knowledge.

연구 동기 및 목표

• 기존 의미 분할 모델에서 의미 개념 계층을 명시적으로 모델링하지 못하는 문제를 해결하기 위해.
• 데이터셋 간 레이블 불일치로 인해 발생하는 작업별 맞춤 모델의 한계를 극복하기 위해.
• 다양한 레이블 어휘를 가진 다양한 데이터셋 간에 일반화 가능한 통합 분할 모델을 가능하게 하기 위해.
• 동적이고 구조적인 네트워크 계산을 통해 계층적 의미 상관관계를 활용해 특징 표현을 향상시키기 위해.
• 각 이미지당 관련된 부분 그래프만 활성화시켜 효율성과 성능을 극대화하기 위해.

제안 방법

• 사전 정의된 개념 계층 내에서 각 뉴런이 특정 개념(예: '식품' 또는 '피자')에 대응하는 의미 뉴런 그래프를 구성한다.
• 훈련 및 추론 중 각 이미지의 목표 레이블과 관련된 뉴런 부분 그래프만 활성화함으로써 동적-구조적 전파를 수행한다.
• DenseNet을 영감으로 삼아, 모든 조상 뉴런의 특징을 융합하는 밀집된 의미 강화 신경 블록을 도입하여 자식 뉴런의 표현을 발전시킨다.
• 클래스 간 경쟁을 방지하고 레이블 부분 겹침이 있는 다양한 데이터셋 간의 공동 학습을 지원하기 위해 픽셀 단위의 시그모이드와 이진 교차 엔트로피 손실을 사용한다.
• 테스트 중 계층의 각 수준에서 혼동되는 개념을 구분하기 위해 초점을 맞춘 효율적인 학습을 가능하게 하는 계층적 예측 기반 방식을 적용한다.
• 다중 조상 노드를 포함한 다양한 그래프 구조를 유연하게 지원하기 위해, 다수의 조상에서 특징을 합산하여 통합한다.

실험 결과

연구 질문

• RQ1 의미 개념 계층의 명시적 통합이 다양한 데이터셋 간의 일반화에 도움이 될 수 있는가?
• RQ2 의미 계층에 기반한 동적 부분 그래프 활성화 방식이 모델의 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 모든 조상에서의 밀집된 특징 전파가 부모 뿐만의 또는 합산 기반 융합보다 특징 표현을 향상시키는가?
• RQ4 여러 데이터셋에 대해 훈련된 단일 통합 모델이 작업별 맞춤 미세조정 모델을 능가할 수 있는가?
• RQ5 손실 함수 선택(Sigmoid 대비 Softmax)이 개방형 어휘 및 다중 데이터셋 훈련에서 성능에 어떤 영향을 미치는가?

주요 결과

• DSSPN은 ADE20K, COCO-Stuff, Cityscapes, Mapillary의 네 가지 공개 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.
• 여러 데이터셋에 대해 공동으로 훈련된 통합 DSSPN 모델은 다중 도메인 지식을 활용하기 위해 표준적인 미세조정 기법을 뛰어넘는 성능을 발휘한다.
• 이진 교차 엔트로피 손실과 시그모이드 활성화 함수를 사용할 경우, 특히 데이터셋 간 부분 레이블 겹침이 있는 상황에서 Softmax 손실보다 뚜렷이 뛰어난 성능을 보인다.
• 비록 총 파라미터 수가 많지만, 각 이미지당 관련 뉴런 부분 그래프만 활성화함으로써 동적-구조적 전파 방식이 계산 및 메모리 비용을 줄이는 데 기여한다.
• 특징 연결을 사용하는 밀집된 의미 강화 블록은 특징 합산 또는 밀집 연결 없이 사용하는 경우보다 성능이 뛰어나며, 효율성 유지와 함께 성능 향상을 이룬다.
• 은닉 특징 맵 크기(m=48)를 중간 수준으로 설정하는 것만으로도 핵심 특징을 충분히 포착할 수 있어, 뛰어난 파라미터 효율성을 보여준다.