[논문 리뷰] Active Learning with TensorBoard Projector

Francois Luus, Naweed Khan외 1명|arXiv (Cornell University)|2019. 01. 03.

Machine Learning and Data Classification참고 문헌 13인용 수 10

한 줄 요약

이 논문은 TensorBoard Projector에 통합된 상호작용형 액티브 러닝 시스템을 제안하며, 반감독 t-SNE를 활용해 시각적 특징 공간 탐색과 레이블 전파를 수행하여 레이블링 효율을 크게 향상시킨다. 인간의 시각적 균일성 인지 모델링을 위해 Barnes-Hut 집중 커널을 사용하고, 기울기 기반 Exemplar-CNN을 통한 무 supervision 전이 학습을 통해 특징 추출을 수행함으로써, 전문화된 이미지 데이터셋에서 100개 이하의 레이블링 동작으로 높은 분류기 정확도를 달성하며, 불확실성 샘플링보다 뛰어난 성능을 보인다.

ABSTRACT

An ML-based system for interactive labeling of image datasets is contributed in TensorBoard Projector to speed up image annotation performed by humans. The tool visualizes feature spaces and makes it directly editable by online integration of applied labels, and it is a system for verifying and managing machine learning data pertaining to labels. We propose realistic annotation emulation to evaluate the system design of interactive active learning, based on our improved semi-supervised extension of t-SNE dimensionality reduction. Our active learning tool can significantly increase labeling efficiency compared to uncertainty sampling, and we show that less than 100 labeling actions are typically sufficient for good classification on a variety of specialized image datasets. Our contribution is unique given that it needs to perform dimensionality reduction, feature space visualization and editing, interactive label propagation, low-complexity active learning, human perceptual modeling, annotation emulation and unsupervised feature extraction for specialized datasets in a production-quality implementation.

연구 동기 및 목표

• 최소한의 인간 레이블링 노력으로 전문화된 이미지 데이터셋에 대한 레이블링 효율을 향상시키기 위해.
• 액티브 러닝을 위한 생산성 도구로 상호작용 가능한 시각화와 레이블 전파를 통합하기 위해.
• 반감독 t-SNE와 무 supervision 전이 학습의 효과를 평가하여 레이블링 비용을 줄이는 데 기여하기 위해.
• 실제 인간 레이블링 행동을 모의하기 위해 局소 균일성 평가를 통해 액티브 러닝 전략의 성능을 평가하기 위해.

제안 방법

• 시스템은 ImageNet 사전 훈련 가중치를 사용한 기울기 기반 Exemplar-CNN을 활용해 무 supervision 특징를 추출하며, 전이 학습을 위해 고정 또는 미세조정할 수 있다.
• 반감독 t-SNE는 전역적으로 정규화된 유인력, 반감독적 반발력, 부드러운 레이블 통합을 통해 시각화 및 레이블 전파 성능을 향상시킨다.
• 레이블링 결정은 t-SNE 투영에서 局소 균일성에 대한 시각적 평가를 기반으로 하며, Barnes-Hut 집중 커널을 사용해 인간의 인지 방식을 모방한다.
• 액티브 러닝은 군집의 응집도와 예측 신뢰도를 기반으로 레이블링 잠재력이 높은 샘플을 반복적으로 선택함으로써 진행된다.
• 분류기 성능 평가는 드롭아웃과 SoftMax 출력을 갖는 피드포워드 신경망을 사용한 5겹 교차 검증을 통해 평가되며, 각 레이블링 동작 후 재훈련된다.
• 실제 인간 상호작용 패턴을 모의하는 현실적인 레이블링 에뮬레이션 프레임워크를 통해 인간 시험 없이도 레이블링 효율을 평가할 수 있다.

실험 결과

연구 질문

• RQ1 반감독 t-SNE는 전문화된 이미지 데이터셋에 대한 액티브 러닝에서 레이블링 효율을 향상시킬 수 있는가?
• RQ2 Exemplar-CNN을 통한 무 supervision 전이 학습은 ImageNet 특징에 비해 임bedding 품질과 레이블링 효율 측면에서 어떻게 비교되는가?
• RQ3 국소 균일성 기반 상호작용 시각 레이블링은 액티브 러닝에서 불확실성 샘플링보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 향상된 반감독 t-SNE를 사용할 경우 무 supervision t-SNE에 비해 레이블링 효율은 얼마나 향상되는가?

주요 결과

• t-SNE 기반 레이블링을 통한 제안된 액티브 러닝 방법은 혈액세포 데이터셋에서 평균 65회의 레이블링 동작으로 전체 정확도의 80% 이상을 달성했으며, 불확실성 샘플링 대비 145회로 레이블링 횟수를 줄였다.
• 꽃 데이터셋에서는 t-SNE 레이블링이 평균 37회의 동작으로 80% 정확도에 도달했고, 불확실성 샘플링은 151회의 동작이 필요했다.
• VGG-16 및 Inception-ResNet-v2에서 유도된 Transfer-Frozen 및 Transfer 특징는 ImageNet 특징를 초월했으며, 각각 평균 115회 및 123회의 레이블링 동작으로 80% 및 81%의 정확도를 달성했다.
• f=0.1(10)로 설정된 반감독 t-SNE는 모든 데이터셋에서 불확실성 샘플링을 일관되게 뛰어넘었으며, 혈액세포 및 원숭이와 같은 전문화된 데이터셋에서 가장 큰 성능 향상을 보였다.
• 모든 전문화된 데이터셋에서 100회의 레이블링 동작 이내로 높은 성능을 달성하여 강력한 레이블링 효율성을 입증했다.
• 에뮬레이션 프레임워크는 인간의 현실적인 시각적 인지 행동을 고려하더라도 t-SNE 레이블링이 불확실성 샘플링보다 더 효율적임을 보였다.