[논문 리뷰] Style transfer-based image synthesis as an efficient regularization technique in deep learning

Agnieszka Mikołajczyk, Michał Grochowski|arXiv (Cornell University)|2019. 05. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 4

한 줄 요약

이 논문은 딥러닝의 일반화 성능 향상을 위해 신경망 스타일 전이 기반의 고품질 가짜 레이블 이미지를 생성하는 새로운 데이터 증강 기법을 제안한다. 진짜 이미지의 내용과 다른 이미지의 예술적 스타일을 조합함으로써 다양한 훈련 샘플을 생성함으로써 모델의 강건성을 향상시키며, 최소한의 계산 부하로 네 가지 아키텍처에서 피부 병변 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

These days deep learning is the fastest-growing area in the field of Machine Learning. Convolutional Neural Networks are currently the main tool used for image analysis and classification purposes. Although great achievements and perspectives, deep neural networks and accompanying learning algorithms have some relevant challenges to tackle. In this paper, we have focused on the most frequently mentioned problem in the field of machine learning, that is relatively poor generalization abilities. Partial remedies for this are regularization techniques e.g. dropout, batch normalization, weight decay, transfer learning, early stopping and data augmentation. In this paper, we have focused on data augmentation. We propose to use a method based on a neural style transfer, which allows generating new unlabeled images of a high perceptual quality that combine the content of a base image with the appearance of another one. In a proposed approach, the newly created images are described with pseudo-labels, and then used as a training dataset. Real, labeled images are divided into the validation and test set. We validated the proposed method on a challenging skin lesion classification case study. Four representative neural architectures are examined. Obtained results show the strong potential of the proposed approach.

연구 동기 및 목표

• 낮은 데이터 환경에서 딥 네트워크의 일반화 성능이 열악한 문제를 해결하기 위해.
• 신경망 스타일 전이가 모델의 강건성을 향상시키는 데 효과적인 데이터 증강 전략이 될 수 있는지 조사하기 위해.
• 가짜 레이블이 부여된 스타일 전이 기반으로 생성된 이미지가 의료 영상 분류 성능에 미치는 영향을 평가하기 위해.
• 실제 피부 병변 분류 작업을 기반으로 제안된 방법을 기존 정규화 기법들과 비교하기 위해.

제안 방법

• 이 방법은 진짜 훈련 이미지의 내용과 다른 이미지의 스타일을 조합하여 신규 이미지를 생성한다.
• 생성된 이미지들은 원본 이미지의 레이블을 바탕으로 가짜 레이블을 부여하여 지도 학습에 활용할 수 있도록 한다.
• 이중 단계 훈련 과정을 사용한다: 첫 번째 단계에서는 진짜 레이블이 부여된 데이터로 모델을 훈련하고, 두 번째 단계에서는 스타일 전이된 이미지로 구성된 증강 데이터셋을 사용해 미세조정을 수행한다.
• 사전 훈련된 스타일 전이 네트워크(예: Gatys 등이 제안한 방법)를 사용하여 합성 이미지의 정성과 다양성을 확보한다.
• 본 방법의 일반화 능력을 평가하기 위해 네 가지 다른 딥 네트워크 아키텍처를 평가한다.
• 검증 및 테스트 세트는 오직 진짜 레이블이 부여된 이미지로 구성되어 있어 성능 평가의 편향을 방지한다.

실험 결과

연구 질문

• RQ1 스타일 전이 기반의 이미지 합성이 낮은 데이터 환경에서 딥러닝 모델의 일반화 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 가짜 레이블이 부여된 스타일 전이 기반으로 생성된 이미지 사용이 기존의 데이터 증강 및 정규화 기법과 비교해 어떻게 다를 수 있는가?
• RQ3 제안된 방법이 도전적인 의료 영상 분류 작업에서 다양한 딥러닝 아키텍처에 대해 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 생성된 이미지의 정성 수준이 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 이 방법은 아키텍처의 다양성에 대해 강건하며 실세계 의료 영상 분석 응용에 적합한가?

주요 결과

• 제안된 방법은 증강 없이 기반 모델을 사용한 경우에 비해 피부 병변 데이터셋에서 분류 정확도를 크게 향상시켰다.
• 평가된 네 가지 신경망 아키텍처 모두가 스타일 전이 기반으로 생성된 이미지를 사용해 미세조정했을 때 일관된 성능 향상을 보였다.
• 증강 데이터로 훈련된 모델은 벤치마크 피부 병변 분류 작업에서 최신 기술 수준의 성능을 달성했다.
• 제한된 훈련 데이터를 가진 모델에서 성능 향상이 가장 두드러졌으며, 이는 본 방법이 낮은 데이터 환경에서 매우 효과적임을 시사한다.
• 고정성 수준의 합성 이미지를 사용할 경우 간단한 증강 기법보다 더 나은 일반화 성능을 달성했다.
• 본 방법은 다양한 네트워크 아키텍처 간에 강력한 전이 가능성을 보이며, 넓은 적용 가능성을 시사한다.