[논문 리뷰] General Purpose (GenP) Bioimage Ensemble of Handcrafted and Learned Features with Data Augmentation

Loris Nanni, Sheryl Brahnam외 2명|arXiv (Cornell University)|2019. 04. 17.

Image Processing Techniques and Applications참고 문헌 80인용 수 17

한 줄 요약

이 논문은 손으로 제작한 특징, 컨volutional 네트워크(CNN)를 통한 딥러닝, 그리고 주성분분석(PCA)/코사인 변환(DCT) 기반 방법을 사용한 데이터 증강을 융합하여 생물영상 분류 분야에서 최고 성능을 달성하는 일반 목적(GenP) 생물영상 앙상블을 제안한다. 다양한 기술적 특징과 지능형 분류기 앙상블(SVM 앙상블 및 CNN 앙상블)을 통합하고, 새로운 증강 기법을 적용함으로써, 데이터셋에 특화된 하이퍼파rameter 조정 없이도 높은 정확도를 달성하며, 과적합의 위험을 최소화한다.

ABSTRACT

Bioimage classification plays a crucial role in many biological problems. In this work, we present a new General Purpose (GenP) ensemble that boosts performance by combining local features, dense sampling features, and deep learning approaches. First, we introduce three new methods for data augmentation based on PCA/DCT; second, we show that different data augmentation approaches can boost the performance of an ensemble of CNNs; and, finally, we propose a set of handcrafted/learned descriptors that are highly generalizable. Each handcrafted descriptor is used to train a different Support Vector Machine (SVM), and the different SVMs are combined with the ensemble of CNNs. Our method is evaluated on a diverse set of bioimage classification problems. Results demonstrate that the proposed GenP bioimage ensemble obtains state-of-the-art performance without any ad-hoc dataset tuning of parameters (thus avoiding the risk of overfitting/overtraining).

연구 동기 및 목표

• 데이터셋에 특화된 하이퍼파rameter 조정 없이도 생물영상 분류를 위한 일반 목적의 프레임워크를 개발하는 것.
• 손으로 제작한 특징과 딥러닝 모델을 융합하여 분류 성능을 향상시키는 것.
• PCA 및 DCT 기반으로 새로운 데이터 증강 기법을 도입하여 모델의 강건성을 향상시키는 것.
• 다양한 생물영상 데이터셋에 적용 가능한 높은 일반화 능력을 갖춘 특징 기술자 집합을 만드는 것.
• SVM과 CNN의 앙상블를 사용하여 여러 생물영상 벤치마크에서 최고 성능을 입증하는 것.

제안 방법

• PCA 및 DCT 기반으로 세 가지 새로운 데이터 증강 기법을 제안하여 훈련 데이터의 다양성을 증가시킨다.
• 국소적이고 조밀한 샘플링 특징을 활용하여 생물영상으로부터 풍부한 공간 패턴을 추출한다.
• 손으로 제작한 기술적 특징 각각에 대해 별도의 서포트 벡터 머신(SVM)을 훈련시켜 강건한 분류를 수행한다.
• 여러 개의 사전 훈련된 CNN을 앙상블하여 일반화 능력과 예측 정확도를 향상시킨다.
• 앙상블 프레임워크 내에서 조기 또는 후기 융합 전략을 통해 손으로 제작한 특징과 딥 레이어 특징을 통합한다.
• 모든 생물영상 데이터셋에 동일한 앙상블 접근법을 적용하며, 데이터셋에 특화된 하이퍼파rameter 조정 없이도 수행한다.

실험 결과

연구 질문

• RQ1 일관된 앙상블 구조로 손으로 제작한 특징과 학습된 특징을 융합하면 다양한 데이터셋에서 생물영상 분류 성능을 향상시킬 수 있는가?
• RQ2 PCA 및 DCT 기반 데이터 증강 기법은 생물영상 분류기의 일반화 능력을 어떻게 향상시키는가?
• RQ3 다양한 손으로 제작한 특징에 대해 훈련된 다수의 SVM과 CNN 앙상블을 융합하면 개별 모델보다 뛰어난 성능을 내는가?
• RQ4 일반 목적의 접근법은 미리 보지 못한 생물영상 데이터셋에 적용했을 때 과적합을 얼마나 효과적으로 방지할 수 있는가?
• RQ5 각 구성 요소(손으로 제작한 특징, 학습된 특징, 증강된 데이터)가 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• GenP 앙상블은 데이터셋에 특화된 하이퍼파rameter 조정 없이도 여러 생물영상 분류 벤치마크에서 최고 성능을 달성한다.
• 제안된 PCA/DCT 기반 데이터 증강 기법은 모델의 일반화 능력을 크게 향상시키고 과적합을 감소시킨다.
• 손으로 제작한 특징 기술자와 딥 레이어 특징을 앙상블 프레임워크 내에서 융합하면 개별 모델보다 더 높은 정확도를 달성한다.
• 앙상블의 각 구성 요소—SVM, CNN, 데이터 증강—모두가 최종 성능 향상에 의미 있는 기여를 한다.
• 이 방법은 미세망 및 조직병리 영상과 같은 다양한 생물영상 유형에 대해 강력한 일반화 능력을 보인다.
• 데이터셋에 특화된 조정이 없기 때문에 과적합의 위험은 감소하지만, 높은 예측 정확도는 유지된다.