[논문 리뷰] AFT*: Integrating Active Learning and Transfer Learning to Reduce Annotation Efforts

Zongwei Zhou, J. Shin외 3명|arXiv (Cornell University)|2018. 02. 03.

COVID-19 diagnosis using AI인용 수 7

한 줄 요약

AFT*는 생물의학 영상 분석에서 애너테이션 비용을 줄이기 위해 주도적 학습과 전이 학습을 통합한 통합 프레임워크를 제안한다. 반복적으로 정보가 풍부한 샘플을 선택하고 사전 훈련된 CNN을 지속적으로 미세조정함으로써 AFT*는 세 가지 생물의학 영상 응용 분야에서 최신 기술 대비 최소 50% 이상의 애너테이션 노력 감소를 달성한다.

ABSTRACT

The splendid success of convolutional neural networks (CNNs) in computer vision is largely attributed to the availability of large annotated datasets, such as ImageNet and Places. However, in biomedical imaging, it is very challenging to create such large annotated datasets, as annotating biomedical images is not only tedious, laborious, and time consuming, but also demanding of costly, specialty-oriented skills, which are not easily accessible. To dramatically reduce annotation cost, this paper presents a novel method to naturally integrate active learning and transfer learning (fine-tuning) into a single framework, called AFT*, which starts directly with a pre-trained CNN to seek worthy samples for annotation and gradually enhance the (fine-tuned) CNN via continuous fine-tuning. We have evaluated our method in three distinct biomedical imaging applications, demonstrating that it can cut the annotation cost by at least half, in comparison with the state-of-the-art method. This performance is attributed to the several advantages derived from the advanced active, continuous learning capability of our method. Although AFT* was initially conceived in the context of computer-aided diagnosis in biomedical imaging, it is generic and applicable to many tasks in computer vision and image analysis; we illustrate the key ideas behind AFT* with the Places database for scene interpretation in natural images.

연구 동기 및 목표

• 대규모 데이터셋 구축을 저해하는 생물의학 영상 애너테이션의 높은 비용과 전문성 요구 사항을 해결하기 위해.
• 기존 방법이 주도적 학습과 전이 학습을 별개의 과정으로 다루는 한계를 극복하기 위해.
• 선택적 애너테이션과 미세조정을 통해 CNN의 반복적이고 점진적인 향상을 가능하게 하는 통합 프레임워크를 개발하기 위해.
• 이 접근법이 생물의학 영상 외부의 다른 컴퓨터 비전 작업, 특히 자연 영상 장면 인식 분야에서도 일반화 가능하고 효과적인지를 입증하기 위해.

제안 방법

• 생물의학 영상 작업을 위한 모델 초기화를 위해 사전 훈련된 컨volutional 신경망(CNN)을 사용한다.
• 주도적 학습을 활용해 인간 애너테이션을 위해 가장 정보가 풍부한 샘플을 식별하고 우선순위를 정한다.
• 매번 새로운 애너테이션 배치가 추가된 후 CNN을 지속적으로 미세조정하여 모델 성능을 점진적으로 향상시킨다.
• 샘플 선택에서 탐색과 이용의 균형을 이루기 위해 불확실성 샘플링과 다양성 기반 선택을 지능적으로 통합한다.
• 새로 선택된 데이터에 대해 사전 훈련된 네트워크를 미세조정하여 목표 생물의학 도메인에 적응시키는 전이 학습을 활용한다.
• 반복적이고 데이터 효율적인 학습을 통해 필요한 애너테이션 수를 최소화하면서도 모델 성능을 유지한다.

실험 결과

연구 질문

• RQ1 주도적 학습과 전이 학습을 통합한 프레임워크가 생물의학 영상 분석에서 애너테이션 비용을 크게 줄일 수 있는가?
• RQ2 매번 애너테이션 배치 후 지속적인 미세조정이 정적 미세조정 대비 모델 성능 향상에 어떻게 기여하는가?
• RQ3 AFT*가 필요한 애너테이션 수를 줄이는 데 있어 최신 기술 대비 어느 정도 뛰어난가?
• RQ4 제안된 방법이 생물의학 영상 외부의 다른 컴퓨터 비전 작업으로 일반화 가능한가?
• RQ5 샘플 선택 과정에서 불확실성과 다양성의 통합이 모델 수렴 속도와 애너테이션 효율성에 어떤 영향을 미치는가?

주요 결과

• AFT*는 세 가지 다른 생물의학 영상 응용 분야에서 최신 기술 대비 최소 50% 이상의 애너테이션 비용 감소를 달성한다.
• 지속적인 미세조정 메커니즋试는 더 적은 수의 애너테이션 샘플로도 더 빠른 수렴과 향상된 성능을 가능하게 한다.
• 주도적 학습과 전이 학습의 통합은 더 효율적인 샘플 선택과 더 나은 모델 일반화를 이끈다.
• 이 방법은 생물의학 영상뿐 아니라 Places 데이터베이스를 사용한 자연 영상 장면 인식 작업에서도 뛰어난 성능을 보였다.
• 고가치 샘플을 반복적으로 모델에 통합함으로써 애너테이션 효율성에 상당한 향상을 이룬다.
• 낮은 데이터 환경에서도 필요한 애너테이션 수를 크게 줄이면서도 높은 모델 정확도를 유지함으로써 효과적인 성능을 입증한다.