[논문 리뷰] Hierarchical semantic segmentation using modular convolutional neural networks

Sagi Eppel|arXiv (Cornell University)|2017. 10. 14.

Advanced Neural Network Applications참고 문헌 30인용 수 5

한 줄 요약

이 논문은 두 개의 순차적으로 연결된 완전 컨volution 신경망을 사용하는 모듈러하고 계층적인 의미 분할 프레임워크를 제안한다: 첫 번째 네트워크는 배경에서 혈관을 분할하고, 두 번째 네트워크는 혈관 내부의 내용을 식별한다. 선택적 특징 전달을 위해 '밸브 필터 어텐션' 메커니즘을 적용함으로써, 단일 네트워크 방법보다 뛰어난 성능을 달성하며, 재학습 없이 사전 훈련된 모듈을 재사용할 수 있다.

ABSTRACT

Image recognition tasks that involve identifying parts of an object or the contents of a vessel can be viewed as a hierarchical problem, which can be solved by initial recognition of the main object, followed by recognition of its parts or contents. To achieve such modular recognition, it is necessary to use the output of one recognition method (which identifies the general object) as the input for a second method (which identifies the parts or contents). In recent years, convolutional neural networks have emerged as the dominant method for segmentation and classification of images. This work examines a method for serially connecting convolutional neural networks for semantic segmentation of materials inside transparent vessels. It applies one fully convolutional neural net to segment the image into vessel and background, and the vessel region is used as an input for a second net which recognizes the contents of the glass vessel. Transferring the segmentation map generated by the first nets to the second net was performed using the valve filter attention method that involves using different filters on different segments of the image. This modular semantic segmentation method outperforms a single step method in which both the vessel and its contents are identified using a single net. An advantage of the modular neural net is that it allows networks to be built from existing trained modules, as well the transfer and reuse of trained net modules without the need for any retraining of the assembled net.

연구 동기 및 목표

• 투명한 혈관 내부의 복잡하고 중첩된 이미지 구조(예: 내용)를 인식하는 데 도전하는 것.
• 정확도와 유연성을 향상시키기 위해 혈관 검출과 내용 분할을 분리하는 모듈러한 접근 방식을 개발하는 것.
• 전체 시스템을 재학습하지 않고도 사전 훈련된 신경망 모듈을 재사용할 수 있도록 하는 것.
• 복잡한 시각적 인식 작업에서 계층적 처리가 종단 간 단일 네트워크 분할보다 우수한 성능을 보이는지 탐색하는 것.

제안 방법

• 두 단계 파이프라인을 사용한다: 먼저 완전 컨volution 신경망(FCN)이 배경에서 혈관을 분할한다.
• 첫 번째 네트워크의 분할 마스크를 공간적 어텐션 맵으로 사용하여 두 번째 FCN의 특징 추출을 안내한다.
• '밸브 필터 어텐션' 메커니즘은 분할 마스크에 기반하여 입력 이미지의 서로 다른 영역에 대해 다른 컨볼루션 필터를 적용함으로써 선택적 특징 학습을 가능하게 한다.
• 두 번째 네트워크는 마스크 처리된 어텐션 기반 특징을 사용하여 혈관 내부의 내용을 분류하고 분할하도록 훈련된다.
• 모듈러한 설계 덕분에 사전 훈련된 네트워크를 재학습 없이 조합할 수 있다.
• 공간 조건부 컨볼루션 연산을 통해 네트워크 간 특징 전달가 이루어지며, 공간적 맥락이 유지된다.

실험 결과

연구 질문

• RQ1 혈관 내부의 투명한 용기 안의 내용과 같은 중첩된 이미지 구조에 대해 계층적이고 모듈러한 접근 방식이 의미 분할 정확도를 향상시킬 수 있는가?
• RQ2 어떤 어텐션 기반 특징 선택을 사용하는 두 단계 네트워크가 단일 통합 분할 네트워크보다 우수한 성능을 내는가?
• RQ3 사전 훈련된 신경망 모듈이 재학습 없이 새로운 시스템에 얼마나 많이 재사용될 수 있는가?
• RQ4 밸브 필터 어텐션 메커니즘이 서로 다른 이미지 영역 간 특징 학습을 얼마나 효과적으로 안내하는가?

주요 결과

• 모듈러한 두 단계 네트워크가 혈관과 그 내부 내용을 분할하는 데 있어 단일 네트워크 기준선보다 뛰어난 성능을 보였다.
• 밸브 필터 어텐션 메커니즘의 사용으로 이미지의 서로 다른 영역에 맞게 필터를 적응시킴으로써 더 정확한 특징 학습이 가능해졌다.
• 사전 훈련된 모듈을 재학습 없이 새로운 시스템에 조합할 수 있었으며, 성능은 유지되면서 학습 비용이 감소했다.
• 계층적 접근 방식은 투명 용기 안의 액체와 같은 복잡하고 중첩된 시각적 구조를 분할하는 데 있어 향상된 강건성을 보였다.