[논문 리뷰] Semantic Image Segmentation via Deep Parsing Network

Ziwei Liu, Xiaoxiao Li외 3명|arXiv (Cornell University)|2015. 09. 09.

Advanced Neural Network Applications참고 문헌 45인용 수 180

한 줄 요약

이 논문은 의미적 이미지 세그멘테이션을 위한 새로운 엔드 투 엔드 컨volution 신경망인 딥 파싱 네트워크(DPN)를 제안한다. 이는 마르코프 무작위 필드(MRFs)의 단항항과 이항항을 통합하는 방식으로, 학습된 컨볼루션 레이어를 사용해 단일 전방 전파(forward pass)로 평균 장 추론(mean field inference)를 근사함으로써, 백프로파게이션 중 반복적인 MRF 추론 없이 PASCAL VOC 2012에서 77.5%의 mIoU를 달성한다.

ABSTRACT

This paper addresses semantic image segmentation by incorporating rich information into Markov Random Field (MRF), including high-order relations and mixture of label contexts. Unlike previous works that optimized MRFs using iterative algorithm, we solve MRF by proposing a Convolutional Neural Network (CNN), namely Deep Parsing Network (DPN), which enables deterministic end-to-end computation in a single forward pass. Specifically, DPN extends a contemporary CNN architecture to model unary terms and additional layers are carefully devised to approximate the mean field algorithm (MF) for pairwise terms. It has several appealing properties. First, different from the recent works that combined CNN and MRF, where many iterations of MF were required for each training image during back-propagation, DPN is able to achieve high performance by approximating one iteration of MF. Second, DPN represents various types of pairwise terms, making many existing works as its special cases. Third, DPN makes MF easier to be parallelized and speeded up in Graphical Processing Unit (GPU). DPN is thoroughly evaluated on the PASCAL VOC 2012 dataset, where a single DPN model yields a new state-of-the-art segmentation accuracy.

연구 동기 및 목표

• 딥 러닝 기반 의미적 세그멘테이션에서 반복적인 MRF 추론의 비효율성 문제를 해결한다.
• 기울기 전파 중 반복적이거나 순환적인 MRF 추론이 필요 없도록, 기울기 가능하고 엔드 투 엔드 프레임워크를 통해 고차원 관계와 레이블 컨텍스트 혼합을 MRF 이항 잠재변수에 통합한다.
• 단일 전방 전파로 평균 장을 근사하여, 백프로파게이션 중 반복적인 MRF 추론이 필요 없도록 한다.
• MRF를 컨볼루션 연산으로 모델링하여 효율적이고 병렬화 가능하며 GPU 가속이 가능한 추론을 가능하게 한다.
• 계산 효율성을 유지하면서도 PASCAL VOC 2012에서 최신 기준 성능을 달성한다.

제안 방법

• 사전 학습된 ImageNet 가중치에서 유도된 특징을 사용해 VGG-16 아키텍처를 확장하여 단항항을 모델링한다.
• MRF의 이항항에 대한 평균 장 추론을 근사하기 위해 추가적인 컨볼루션 및 풀링 레이어를 도입한다.
• 학습 가능한 수신장(receptive fields)을 통해 고차원 관계와 레이블 컨텍스트 혼합을 포함한 복잡한 이항 잠재변수를 모델링한다.
• MRF 추론을 결정론적이고 기울기 가능하며 단일 전방 전파 계산으로 공식화하여, 기울기 전파 중 반복 최적화를 피한다.
• 저랭크 근사와 GPU 우수한 연산을 사용해 추론 속도를 가속화하고 병렬화를 가능하게 한다.
• 단일 모델에서 단항항과 이항항을 동시에 최적화하는 엔드 투 엔드 백프로파게이션을 통해 전체 네트워크를 공동 학습한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크 내에서 MRF의 평균 장 추론이 단일 전방 전파로 효과적으로 근사될 수 있는가?
• RQ2 이항 잠재변수에 고차원 관계와 레이블 컨텍스트 혼합을 통합할 경우 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ3 반복적인 MRF 추론을 대체할 수 있는 통합적이고 기울기 가능한 네트워크 아키텍처가 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 단항항과 이항항의 공동 학습이 세그멘테이션 정확도와 계산 효율성에 미치는 영향은 무엇인가?
• RQ5 DPN은 크기, 형태, 경계 복잡도가 다양한 객체 카테고리에 대해 어떻게 일반화되는가?

주요 결과

• DPN은 단일 모델을 사용해 PASCAL VOC 2012 테스트 세트에서 새로운 최고 기록인 77.5%의 mIoU를 달성한다.
• 이전 방법이 평균 장 추론을 10회 반복하는 데 비해, 모델은 최소 10배 이상 빠른 런타임을 확보한다.
• 공동 학습은 특히 복잡한 경계나 컨텍스트 의존성이 높은 객체 카테고리에서 성능 향상에 크게 기여한다.
• 픽셀 수준의 감독을 통해 이미지 수준 태그를 암묵적으로 모델링하여 높은 태그 정확도(96.4%)를 달성한다.
• 클래스별 분석 결과, 작은 객체(예: 새, 고양이, 소)는 전체 부드러움과 경계 정확도 향상을 위해 공동 튜닝 과정에서 자주 기각된다.
• 특히 '자전거'처럼 비정형 형태를 가진 객체의 경우, 후기 학습 단계에서 객체 국소화와 경계 인식 능력이 크게 향상된다.