[논문 리뷰] Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation

Hyoeun Kim, Sangheum Hwang|arXiv (Cornell University)|2016. 02. 16.

Advanced Chemical Sensor Technologies참고 문헌 34인용 수 14

한 줄 요약

이 논문은 이미지 수준의 레이블만 제공되는 환경에서 정밀한 픽셀 수준의 국소화를 향상시키기 위해 연결된 디컨볼루션 네트워크를 사용한 디컨볼루션 특징 스택 기반의 약한 지도 학습 세그멘테이션 프레임워크를 제안한다. 고수준 활성화로부터 구분력 있는 특징을 복원하기 위해 언풀링과 연결된 디컨볼루션을 활용함으로써, 잘못된 양성 결과를 줄이고 PASCAL VOC 2012와 의료 영상(폐X레이) 데이터셋 모두에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

A weakly-supervised semantic segmentation framework with a tied deconvolutional neural network is presented. Each deconvolution layer in the framework consists of unpooling and deconvolution operations. 'Unpooling' upsamples the input feature map based on unpooling switches defined by corresponding convolution layer's pooling operation. 'Deconvolution' convolves the input unpooled features by using convolutional weights tied with the corresponding convolution layer's convolution operation. The unpooling-deconvolution combination helps to eliminate less discriminative features in a feature extraction stage, since output features of the deconvolution layer are reconstructed from the most discriminative unpooled features instead of the raw one. This results in reduction of false positives in a pixel-level inference stage. All the feature maps restored from the entire deconvolution layers can constitute a rich discriminative feature set according to different abstraction levels. Those features are stacked to be selectively used for generating class-specific activation maps. Under the weak supervision (image-level labels), the proposed framework shows promising results on lesion segmentation in medical images (chest X-rays) and achieves state-of-the-art performance on the PASCAL VOC segmentation dataset in the same experimental condition.

연구 동기 및 목표

• 이미지 수준의 레이블만 존재하는 약한 지도 학습 세그멘테이션 문제를 해결함으로써, 세분화된 픽셀 수준의 국소화가 어려운 상황을 해결하고자 한다.
• 특징 복구 과정에서 가장 구분력 있는 특징만 선택적으로 복원함으로써 활성화 맵의 잘못된 양성 결과를 줄이고자 한다.
• 스택된 디컨볼루션 레이어를 통해 다양한 추상화 수준에서 풍부한 다중 수준 특징 표현을 구축하고자 한다.
• 에코더와 디코더 경로 간에 연결된 가중치를 통해 엔드 투 엔드 학습을 가능하게 하고, 약한 지도 학습 하에서 국소화 정확도를 향상시키고자 한다.
• 픽셀 수준의 레이블링이 비용이 많이 들고 영역 전문 지식이 필요한 의료 영상 분야에 적용 가능함을 보여주고자 한다.

제안 방법

• 프리트레인된 CNN 위에 구축된 연결된 디컨볼루션 네트워크를 사용하며, 각 디컨볼루션 레이어는 언풀링과 디컨볼루션 연산으로 구성된다.
• 언풀링은 해당 컨볼루션 레이어의 풀링 마스크를 사용하여 특징 맵을 확대하며, 가장 구분력 있는 활성화만 유지한다.
• 디컨볼루션은 해당 에코더 컨볼루션 레이어의 가중치와 연결된 전치 컨볼루션을 적용하여, 에코더-디코더 간의 밀접한 연결을 강제한다.
• 모든 디컨볼루션 레이어와 최종 컨볼루션 레이어에서 복원된 특징들은 채널 기준으로 확대 및 연결되어 풍부한 다중 해상도 특징 세트를 형성한다.
• 최종 컨볼루션 레이어는 스택된 특징을 처리하여 클래스별 활성화 맵을 생성하며, 채널 기준으로 소프트맥스를 적용하여 픽셀 수준의 분류를 수행한다.
• 모델은 이미지 수준의 레이블만을 사용하여 엔드 투 엔드로 학습되며, 최종 손실은 예측된 클래스 확률과 진짜 이미지 수준의 레이블을 비교하여 계산된다.

실험 결과

연구 질문

• RQ1 연결된 가중치를 사용한 디컨볼루션 특징 스택이 약한 지도 학습 세그멘테이션에서 국소화 정확도를 향상시키는가?
• RQ2 기본적인 디컨볼루션 또는 전역 풀링 방법에 비해 언풀링 기반의 특징 복원이 잘못된 양성 결과를 줄이는가?
• RQ3 제안된 방법이 동일한 약한 지도 학습 설정 하에서 의료 영상 및 자연 영상 데이터셋 모두에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 스택된 다중 수준 특징 표현은 굵은 틀과 세밀한 물체 세부 사항을 모두 효과적으로 포착하는가?
• RQ5 픽셀 수준의 레이블링이 비용이 많이 들기 때문에 실용적으로 어려운 의료 영상 응용 분야에 일반화 가능한가?

주요 결과

• 약한 지도 학습 하에서 PASCAL VOC 2012 검증 세트에서 평균 IoU 33.6%를 기록하며, FC-MIL 및 GP-LSE를 초월하는 최신 기술 수준 성능을 달성한다.
• PASCAL VOC 2012 데이터셋에서 스테이지 3에서 mIoU 33.4%를 기록하여, 기준 모델(27.3%)과 C-CNN(33.3%)를 상당히 뛰어넘는 성능을 보였다. 동일한 학습 조건 하에서의 비교 결과이다.
• 폐X레이 영상에서는 잘못된 양성 결과를 효과적으로 줄이고 다양한 병변 크기에서 병변 경계를 복원하는 데 성공하였으며, 정성적 예시를 통해 이를 확인할 수 있었다.
• 디컨볼루션의 모든 단계에서 일관된 향상이 관찰되었으며, 점차 정밀해지는 활성화 맵과 함께 잘못된 양성 결과가 감소하였다.
• 연결된 가중치와 언풀링을 사용함으로써, 추가적인 지도 학습이나 후처리 없이도 더 나은 특징 복원과 국소화 성능을 달성할 수 있었다.
• 의료 영상 분야에서 효과적이며, 전문가가 레이블링한 픽셀 수준의 데이터가 부족한 CADe/CADx 시스템에 실용적인 해결책을 제공한다.