[논문 리뷰] Texture segmentation with Fully Convolutional Networks

Vincent Andrearczyk, Paul F. Whelan|arXiv (Cornell University)|2017. 03. 15.

Smart Agriculture and AI참고 문헌 17인용 수 8

한 줄 요약

이 논문은 얕은 국소적 텍스처 특징과 더 깊은 추상적 표현을 결합하여 텍스처 분할을 최적화한 완전 컨volution 네트워크(FCN) 아키텍처를 제안한다. 이는 최소한의 또는 전혀 레이블이 없는 훈련 데이터로도 높은 정확도의 의미 분할을 가능하게 한다. 반복적인 텍스처 패턴을 활용하여 소규모 데이터셋 또는 테스트 이미지 자체의 일부를 미세조정함으로써 프라하 텍스처 분할 벤치마크에서 특히 비지도 및 소수 샘플 설정에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In the last decade, deep learning has contributed to advances in a wide range computer vision tasks including texture analysis. This paper explores a new approach for texture segmentation using deep convolutional neural networks, sharing important ideas with classic filter bank based texture segmentation methods. Several methods are developed to train Fully Convolutional Networks to segment textures in various applications. We show in particular that these networks can learn to recognize and segment a type of texture, e.g. wood and grass from texture recognition datasets (no training segmentation). We demonstrate that Fully Convolutional Networks can learn from repetitive patterns to segment a particular texture from a single image or even a part of an image. We take advantage of these findings to develop a method that is evaluated on a series of supervised and unsupervised experiments and improve the state of the art on the Prague texture segmentation datasets.

연구 동기 및 목표

• 형태 기반 특징을 제거하고 텍스처 전용 표현에 중점을 두어 텍스처 분할에 특화된 완전 컨볼루션 네트워크 아키텍처를 개발하는 것.
• 표준 텍스처 인식 데이터셋에서 제공하는 분할되지 않은 이미지만을 사용하여 높은 내부 클래스 변동성을 가진 텍스처의 의미 분할을 가능하게 하는 것.
• 각 클래스당 하나의 이미지 또는 테스트 이미지 자체의 영역을 사용해 FCN를 효과적으로 미세조정함으로써 비지도 텍스처 분할을 가능하게 하는 것.
• 특히 비지도 및 소수 샘플 학습 시나리오에서 프라하 텍스처 분할 벤치마크의 최신 기술 수준을 향상시키는 것.

제안 방법

• 제안된 FCN는 얕은 층에서의 국소적 고주파 텍스처 패턴과 깊은 층에서의 더 추상적이고 전반적인 텍스처 표현을 위한 여러 네트워크 깊이의 특징 맵을 결합한다.
• 공간 해상도를 유지하기 위해 트랜스포지드 컨볼루션과 스킵 연결을 활용하며, 감독 손실 함수를 사용해 텍스처 분할 작업에 대해 엔드 투 엔드로 훈련한다.
• 소수 샘플 및 비지도 학습을 위해, 각 클래스당 하나의 이미지 또는 사전 분할된 테스트 이미지 영역을 편가속 레이블로 사용하여 네트워크를 미세조정한다.
• 사전 분할은 고전적 방법(예: k-means, FSEG, MK)을 사용해 수행되며, 이는 초기 레이블을 생성하고 FCN에 의해 보완된다.
• 아키텍처는 형태 기반 유도 편향을 억제하도록 최적화되어 있으며, 오직 텍스처 패턴 인식 및 분할에 집중한다.
• 텍스처의 반복성을 활용하여 최소한의 감독으로 일반화를 가능하게 하여, 분할되지 않은 데이터셋에서 효과적인 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크가 완전히 애너테이션된 훈련 데이터가 없이, 텍스처의 반복적인 성질에 기반해 텍스처를 분할할 수 있는가?
• RQ2 비분할 텍스처 이미지(예: KTH-TIPS-2B 또는 Kylberg)에서 훈련된 FCN가 의미 텍스처 분할 작업으로 일반화되는 정도는 어느 정도인가?
• RQ3 각 텍스처 클래스당 하나의 이미지만으로도 효과적인 텍스처 분할을 위한 충분한 감독 정보로 작용할 수 있는가?
• RQ4 사전 분할된 후 테스트 이미지 자체의 영역을 사용해 비지도 텍스처 분할을 위한 효과적인 훈련 데이터로 활용할 수 있는가?
• RQ5 제안된 FCN는 감독 및 비지도 설정 모두에서 프라하 텍스처 분할 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 FCN는 프라하 비지도 데이터셋에서 영역 기반 Dice 스코어(CS) 79.34%를 달성하여 이전 최신 기술 수준 방법들을 크게 능가했다.
• 감독 프라하 데이터셋에서 FCN는 픽셀 단위 정확도(CA) 84.17%와 F1 스코어(CI) 89.91%를 기록하여 이전 모든 방법들을 초월했다.
• 18개 평가 지표 중 12개에서 최고 점수를 기록했고, 나머지 4개 지표에서는 두 번째로 높은 점수를 기록하여 다양한 분할 기준에서 일관된 우수성을 입증했다.
• 각 클래스당 하나의 이미지로의 미세조정이 효과적으로 일반화를 가능하게 하여, 텍스처 분할에서 강력한 소수 샘플 학습 능력을 입증했다.
• 사전 분할 후 테스트 이미지의 일부를 훈련 데이터로 사용한 결과 강력한 성능을 기록하여, 최소한의 감독으로 비지도 텍스처 분할의 가능성과 타당성을 확인했다.
• MK 사전 분할 레이블을 사용한 FCN는 모든 지표에서 최고 성능을 기록했으며, CC 스코어 94.15%와 CI 스코어 89.91%를 달성했다.