[논문 리뷰] Adversarial Active Learning for Deep Networks: a Margin Based Approach

Mélanie Ducoffe, Fŕed́eric Precioso|arXiv (Cornell University)|2018. 02. 27.

Machine Learning and Algorithms참고 문헌 18인용 수 173

한 줄 요약

DFAL은 DeepFool을 통해 가장 작은 적대적 교란을 계산하여 결정 경계에 가장 가까운 라벨링되지 않은 샘플을 선택하고, CNN의 MNIST, Shoe-Bag, Quick-Draw 전체에서 더 빠른 수렴과 강건한 성능을 얻습니다.

ABSTRACT

We propose a new active learning strategy designed for deep neural networks. The goal is to minimize the number of data annotation queried from an oracle during training. Previous active learning strategies scalable for deep networks were mostly based on uncertain sample selection. In this work, we focus on examples lying close to the decision boundary. Based on theoretical works on margin theory for active learning, we know that such examples may help to considerably decrease the number of annotations. While measuring the exact distance to the decision boundaries is intractable, we propose to rely on adversarial examples. We do not consider anymore them as a threat instead we exploit the information they provide on the distribution of the input space in order to approximate the distance to decision boundaries. We demonstrate empirically that adversarial active queries yield faster convergence of CNNs trained on MNIST, the Shoe-Bag and the Quick-Draw datasets.

연구 동기 및 목표

• 동기를 부여하고 심층 네트워크 학습에서 데이터 주석 비용을 줄입니다.
• CNN에 적합한 마진 기반 능동 학습 기준을 개발합니다.
• 전체 경계 계산 없이 결정 경계까지의 거리를 근사하기 위해 적대적 교란을 활용합니다.
• 다양한 데이터셋에 걸친 DFAL 방법의 실증적 효율성과 강건성을 입증합니다.

제안 방법

• DFAL(DeepFool Active Learning)이라 불리는 심층 네트워크용 마진 기반 능동 학습 휴리스틱을 도입합니다.
• DeepFool을 사용하여 라벨링되지 않은 샘플에 대한 가장 작은 적대적 교란을 계산하고 교란이 가장 작은 샘플을 선택합니다.
• 선택된 샘플의 레이블을 질의하고 동일한 레이블의 적대적 대응 샘플을 의사 증강 데이터로 함께 포함합니다.
• 교란 기반 페어링으로 인한 잘못된 레이블 도입 없이 확장된 라벨링된 집합에서 반복적으로 네트워크를 학습합니다.
• DFAL은 하이퍼파라미터가 없으며 적대적 예제로 정규화하여 강건성을 강조합니다.
• 다양한 아키텍처에 걸친 DFAL-선정 데이터의 전이 가능성을 입증합니다.

실험 결과

연구 질문

• RQ1 적대적 교란이 CNN에서 결정 경계까지의 거리의 신뢰할 수 있는 대리 지표가 될 수 있을까요?
• RQ2 DeepFool 기반 능동 질의 전략이 표준 불확실성 기반 또는 무작위 샘플링에 비해 라벨 효율성을 향상시킵니까?
• RQ3 DFAL-선정 샘플은 선택기를 재학습하지 않고도 다른 아키텍처로 전이될 수 있나요?
• RQ4 정확도와 런타임 측면에서 DFAL이 최첨단 배치 능동 학습 접근법과 어떻게 비교되나요?

주요 결과

• DFAL은 여러 CNN 아키텍처와 데이터셋에서 무작위 선택보다 더 빠른 수렴과 더 높은 테스트 정확도를 지속적으로 달성합니다.
• DFAL은 CORE-SET과 같은 최첨단 배치 방법과 정확도 측면에서 경쟁적이며 종종 우수하고 런타임은 크게 더 빠릅니다.
• DFAL은 매 이터레이션마다 고정된 수의 추가 질의를 사용하고 라벨링된 데이터로 추가하는 학습 데이터의 비율이 작아 과도한 라벨링을 피합니다.
• DFAL은 전이 가능성을 보여주며 한 아키텍처에서 선택된 데이터가 다른 아키텍처를 학습하는 데에도 이점을 제공합니다.