[논문 리뷰] Scale-Invariant Feature Learning using Deconvolutional Neural Networks for Weakly-Supervised Semantic Segmentation.

Hyoeun Kim, Sangheum Hwang|arXiv (Cornell University)|2016. 02. 16.

Advanced Chemical Sensor Technologies참고 문헌 29인용 수 13

한 줄 요약

이 논문은 이미지 레벨 레이블만을 사용하는 약한 감독(semi-supervised) 세분화를 위한 스케일 불변 특징 학습 프레임워크를 제안한다. 연결된 복소망(deconvolutional neural networks)을 사용하여 언풀링(unpooling)과 복소망(deconvolution)을 결합함으로써, 잘못된 양성 결과(false positives)를 감소시키는 분류 특징을 재구성한다. 이는 PASCAL VOC에서 최고 수준의 성능을 달성하고, 이미지 레벨 레이블만을 사용하여 흉부 X-ray 병변 세분화에서도 뛰어난 성능을 보인다.

ABSTRACT

A weakly-supervised semantic segmentation framework with a tied deconvolutional neural network is presented. Each deconvolution layer in the framework consists of unpooling and deconvolution operations. 'Unpooling' upsamples the input feature map based on unpooling switches defined by corresponding convolution layer's pooling operation. 'Deconvolution' convolves the input unpooled features by using convolutional weights tied with the corresponding convolution layer's convolution operation. The unpooling-deconvolution combination helps to eliminate less discriminative features in a feature extraction stage, since output features of the deconvolution layer are reconstructed from the most discriminative unpooled features instead of the raw one. This results in reduction of false positives in a pixel-level inference stage. All the feature maps restored from the entire deconvolution layers can constitute a rich discriminative feature set according to different abstraction levels. Those features are stacked to be selectively used for generating class-specific activation maps. Under the weak supervision (image-level labels), the proposed framework shows promising results on lesion segmentation in medical images (chest X-rays) and achieves state-of-the-art performance on the PASCAL VOC segmentation dataset in the same experimental condition.

연구 동기 및 목표

• 이미지 수준의 애너테이션만을 사용하는 약한 감독 세분화의 과제를 해결하여, 비용이 많이 드는 픽셀 수준의 애너테이션을 피하는 것.
• 원시적인 특징 대신 가장 정보가 많은 언풀링 기반 활성화로부터 특징를 재구성함으로써 특징 맵 내 특징의 분류 능력을 향상시키는 것.
• 특징 재구성 과정에서 분류 특징을 강조함으로써 픽셀 수준 예측에서 잘못된 양성 결과를 감소시키는 것.
• 스택된 복소망 레이어를 통해 다수의 추상화 수준에서 특징 표현을 생성함으로써 개선된 클래스 특정 활성도 맵 생성을 위한 것.
• PASCAL VOC와 같은 벤치마크 데이터셋에서 최고 수준의 성능을 달성하고, 의료 영상(흉부 X-ray)에서 약한 감독 하에 강력한 성능을 내는 것.

제안 방법

• 각 복소망 레이어가 언풀링 이후 복소망을 수행하는 연결된 복소망 신경망 아키텍처를 사용한다.
• 언풀링은 해당 컨볼루션 레이어의 풀링 연산에서 유도된 스위치를 사용하여 특징 맵을 확대하며, 공간적 구조를 유지한다.
• 복소망은 해당 컨볼루션 레이어와 동일한 가중치를 공유하는 전치 컨볼루션 필터를 적용하여 특징 재구성 일관성을 확보한다.
• 언풀링-복소망 쌍은 가장 분류 능력이 높은 활성화로부터 특징를 재구성하여, 정보가 적거나 노이즈가 많은 특징를 억제한다.
• 다중 복소망 레이어는 서로 다른 추상화 수준의 특징 맵을 생성하며, 이를 스택하여 종합적인 분류 특징 세트를 형성한다.
• 이 스택된 특징들은 이미지 수준 감독 하에 클래스 특정 활성도 맵 생성을 위해 선택적으로 사용된다.

실험 결과

연구 질문

• RQ1 연결된 복소망 아키텍처가 약한 감독 세분화를 위한 스케일 불변 분류 특징를 효과적으로 학습할 수 있는가?
• RQ2 언풀링-복소망 메커니즘이 가장 정보가 많은 특징 활성화에 집중함으로써 잘못된 양성 결과를 감소시키는가?
• RQ3 다중 복소망 레이어에서 생성된 스택된 특징 맵이 약한 감독 하에 세분화 정확도를 향상시키는가?
• RQ4 제안된 방법은 PASCAL VOC와 같은 표준 벤치마크에서 최고 수준의 접근법과 비교해 어떤가?
• RQ5 이 프레임워크는 흉부 X-ray에서 병변 세분화와 같은 의료 영상 작업에 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 이전 연구와 동일한 실험 조건 하에서 PASCAL VOC 2012 세분화 벤치마크에서 최고 수준의 성능을 달성한다.
• 가장 분류 능력이 높은 언풀링된 특징에서 특징를 재구성함으로써 픽셀 수준 추론에서 잘못된 양성 결과가 크게 감소한다.
• 스택된 복소망 특징 맵은 풍부하고 다층적인 표현을 제공하여 클래스 특정 활성도 맵 생성을 향상시킨다.
• 프레임워크는 의료 영상 세분화에서 뛰어난 성능을 보이며, 흉부 X-ray에서 병변 국소화에 유망한 결과를 도출한다.
• 복소망 레이어에서 가중치를 연결함으로써 특징 재구성 일관성이 확보되고, 추가 파rameter 없이도 특징 분류 능력이 향상된다.