[논문 리뷰] Robust Pollen Imagery Classification with Generative Modeling and Mixup Training

Jaideep Vitthal Murkute|arXiv (Cornell University)|2021. 02. 25.

Allergic Rhinitis and Sensitization참고 문헌 9인용 수 4

한 줄 요약

이 논문은 변분 오토인코더(VAE) 기반의 생성 모델링, 매니폴드 믹스업 훈련, 그리고 EfficientNet 백본을 결합하여 수분립 이미지 분류를 위한 강력한 딥러닝 프레임워크를 제안한다. 이 방법은 함께 학습하는 지도형 및 비지도형 학습, 데이터 증강, 모델 앙상블를 통해 일반화 능력을 향상시키며, ICPR-2020 대회에서 0.972578의 가중 F1 스코어를 기록하여 전체 4위를 차지했다.

ABSTRACT

Deep learning approaches have shown great success in image classification tasks and can aid greatly towards the fast and reliable classification of pollen grain aerial imagery. However, often-times deep learning methods in the setting of natural images can suffer generalization problems and yield poor performance on unseen test distribution. In this work, we present and a robust deep learning framework that can generalize well for pollen grain aerobiological imagery classification. We develop a convolutional neural network-based pollen grain classification approach and combine some of the best practices in deep learning for better generalization. In addition to commonplace approaches like data-augmentation and weight regularization, we utilize implicit regularization methods like manifold mixup to allow learning of smoother decision boundaries. We also make use of proven state-of-the-art architectural choices like EfficientNet convolutional neural networks. Inspired by the success of generative modeling with variational autoencoders, we train models with a richer learning objective which can allow the model to focus on the relevant parts of the image. Finally, we create an ensemble of neural networks, for the robustness of the test set predictions. Based on our experiments, we show improved generalization performance as measured with a weighted F1-score with the aforementioned approaches. The proposed approach earned a fourth-place in the final rankings in the ICPR-2020 Pollen Grain Classification Challenge; with a 0.972578 weighted F1 score,0.950828 macro average F1 scores, and 0.972877 recognition accuracy.

연구 동기 및 목표

• 분포 이탈과 클래스 불균형 상황에서 수분립 이미지 분류를 위한 딥러닝 모델의 일반화 실패 문제를 해결하기 위해.
• 변분 오토인코더(VAE)를 통한 비지도형 분리 특징 학습을 통합하여 모델의 강건성을 향상시키기 위해.
• 매니폴드 믹스업 훈련을 통해 결정 경계의 매끄러움과 일반화 능력을 향상시키기 위해.
• 아키텍처 및 훈련 기법의 혁신을 통해 ICPR-2020 수분립 분류 도전 대회에서 최고 성능을 달성하기 위해.

제안 방법

• 에ncoder가 특징을 추출하고 잠재 코드를 생성하고, 디코더가 수분립 패치를 재구성하여 관련 이미지 영역에 집중하도록 하는 VAE 기반 프레임워크를 훈련시켰다.
• 재구성 손실(MSE)과 사후분포 및 사전분포 간의 KLD를 조합한 증거 하한 경계(ELBO) 목적함수를 사용하여 VAE를 최적화하였다.
• 네트워크의 랜덤 레이어에서 특징을 선형 보간하여 매니폴드 믹스업을 적용하였으며, 하이퍼파라미터 α는 0.5 또는 1.0으로 설정하였다. 이는 더 매끄러운 결정 경계를 유도하기 위함이었다.
• 이미지넷 정규화를 적용한 랜덤 회전, 줌, 플립, 자르기 변환을 포함하는 데이터 증강 파이프라인을 사용하였다.
• 다양한 믹스업 설정과 아키텍처를 사용하여 훈련한 두 대의 EfficientNet-B3 및 두 대의 EfficientNet-B4 모델을 앙상블하여 최종 예측을 평균화하였다.
• 두 단계로 모델을 미세조정하였다: 첫 번째 단계에서는 에ncoder를 고정하고 분류기 및 디코더를 훈련하였고, 두 번째 단계에서는 모든 레이어를 해제하여 공동 최적화를 수행하였다.

실험 결과

연구 질문

• RQ1 VAE 기반 생성 모델링과 믹스업을 조합함으로써 수분립 이미지 분류의 일반화 능력 향상이 가능한가?
• RQ2 비지도형 VAE 학습 통합이 레이블이 제한된 다운스트림 분류 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 다양한 α 값으로 설정한 매니폴드 믹스업은 수분립 분류에서 더 강건하고 매끄러운 결정 경계를 유도하는가?
• RQ4 EfficientNet-B3/B4와 같은 아키텍처 선택 및 데이터 증강 기법이 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 모델 앙상블은 개별 모델 성능을 초월하여 예측을 더욱 안정화하고 일반화 능력을 향상시키는가?

주요 결과

• 제안된 방법은 ICPR-2020 수분립 분류 도전 대회에서 테스트 세트에서 0.972578의 가중 F1 스코어를 기록하여 4위를 차지했다.
• 네 대의 VAE 기반 모델 앙상블은 테스트 정확도 0.972877과 매크로 F1 스코어 0.950828을 기록했다.
• 믹스업(α = 0.5 또는 1.0)과 VAE 재구성으로 훈련된 모델들은 베이스라인 EfficientNet 모델 대비 일관된 성능 향상을 보였으며, 가장 우수한 개별 모델(EffNet-B4 VAE, α=0.5)은 0.96909의 가중 F1 스코어를 기록했다.
• VAE 구성요소는 명시적인 세그멘테이션 없이도 특징의 분리성 향상과 관련 이미지 영역에 대한 모델 집중도 향상을 이끌었다.
• 에ncoder를 처음에 고정하는 두 단계 훈련 전략은 더 나은 수렴과 일반화 능력 향상에 기여했다.
• 아블레이션 연구 결과, 수분립의 명시적 세그멘테이션은 유익하지 않았으며, 현대적인 CNN에 데이터 증강과 드롭아웃을 적용하는 것으로도 배경의 변동성을 효과적으로 처리할 수 있었다.