[논문 리뷰] Active and Continuous Exploration with Deep Neural Networks and Expected Model Output Changes

Christoph Käding, Erik Rodner외 2명|arXiv (Cornell University)|2016. 12. 19.

Machine Learning and Algorithms참고 문헌 16인용 수 38

한 줄 요약

이 논문은 깊이 신경망을 위한 새로운 능동 학습 방법을 제안하며, 모든 네트워크 레이어를 통해 기울기 기반의 불확실성에 근거하여 예측 모델 출력 변화(EMOC)를 근사함으로써 지속적으로 정보가 많은 미라벨링 배치를 선택한다. 이 방법은 CIFAR100에서 랜덤, 불확실성 기반, 신뢰도 기반 기준보다 정확도 향상과 새로운 클래스 탐지 측면에서 뛰어난 성능을 보였다.

ABSTRACT

The demands on visual recognition systems do not end with the complexity offered by current large-scale image datasets, such as ImageNet. In consequence, we need curious and continuously learning algorithms that actively acquire knowledge about semantic concepts which are present in available unlabeled data. As a step towards this goal, we show how to perform continuous active learning and exploration, where an algorithm actively selects relevant batches of unlabeled examples for annotation. These examples could either belong to already known or to yet undiscovered classes. Our algorithm is based on a new generalization of the Expected Model Output Change principle for deep architectures and is especially tailored to deep neural networks. Furthermore, we show easy-to-implement approximations that yield efficient techniques for active selection. Empirical experiments show that our method outperforms currently used heuristics.

연구 동기 및 목표

• 모든 재학습 없이 라벨가치가 없는 데이터로부터 학습하는 지속적이고 종신적인 시각 인식 시스템의 필요성을 해결한다.
• 특히 알려지지 않은 클래스에서 온 예측을 포함하여 가장 정보가 많은 라벨가치가 없는 예제를 능동적으로 선택함으로써 인간의 라벨링 노력 감소를 목표로 한다.
• 깊이 신경망 아키텍처에서 능동 선택을 이끄는 데 사용할 수 있는 예측 모델 출력 변화(EMOC) 원리의 딥 러닝 호환 확장 기법을 개발한다.
• 통합된 기울기 기반 선택 기준을 통해 알려진 클래스와 이전에 보지 못한 클래스에서 동시에 학습을 가능하게 한다.

제안 방법

• 기울기 역전파를 사용하여 모든 레이어에서 모델 출력의 기대 변화를 계산함으로써 EMOC 원리를 깊이 신경망에 일반화한다.
• 손실 함수의 네트워크 파라미터에 대한 기울기의 크기를 사용하여 EMOC를 근사함으로써 대규모 데이터셋에서 효율적인 계산을 가능하게 한다.
• 기존 데이터(λ=0.9)와 신규 데이터(1−λ=0.1)에 가중치를 적용한 미니배치 경사하강법을 사용하여 지속적 학습 중 과적합을 방지한다.
• EMOC 점수를 기반으로 각 업데이트 단계에서 25개 샘플의 배치를 선택하며, 모델 출력에 가장 큰 기대 변화를 유도하는 샘플을 우선순위로 한다.
• 각 업데이트 후에 새로 라벨링된 배치를 모델에 점진적으로 통합함으로써 각 훈련 배치에서 알려진 클래스와 새로운 클래스 간 균형을 유지한다.
• 모델이 새로운 라벨링 배치 후에 미세조정되는 지속적 학습 환경에 이 방법을 적용함으로써 이전에 보지 못한 클래스의 탐지가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 예측 모델 출력 변화(EMOC) 원리는 깊이 신경망에 대해 능동 학습에 효과적으로 일반화될 수 있는가?
• RQ2 정확도와 새로운 클래스 탐지 측면에서 EMOC 기반 선택 전략은 불확실성 기반 및 신뢰도 기반 선택 전략보다 어떻게 비교되는가?
• RQ3 EMOC 기반 능동 학습은 하나의 통합 프레임워크 내에서 알려진 클래스와 이전에 보지 못한 클래스에서 동시에 학습을 가능하게 하는가?
• RQ4 제안된 방법은 새로운 데이터에 대한 모델 성능을 유지하거나 향상시키면서 라벨링 노력의 감소에 얼마나 기여하는가?

주요 결과

• 제안된 EMOC 기반 방법은 CIFAR100에서 랜덤 선택, 불확실성 기반(min), 신뢰도 기반(max) 기준보다 정확도 향상과 학습 속도 향상 측면에서 모두 뛰어난 성능을 보였다.
• 모든 기준보다 빠른 속도로 새로운 클래스를 탐지함으로써, 이 방법이 능동 학습 중 새로운 클래스 탐지에 효과적임을 입증했다.
• 1-vs-2(상위 두 클래스 점수의 차이) 및 min(최대 클래스 점수의 최소값) 기준은 거의 동일한 성능를 보이며, 이는 이 데이터셋에서 모호한 샘플을 구분하는 데에 한계가 있음을 시사한다.
• 가장 높은 신뢰도를 가진 샘플을 선택하는 max 전략은 성능이著しく 열 劣하므로, 이미 알려진 클래스에서의 샘플을 선택하는 경향이 있어 새로운 개념 탐색이 제한됨을 보여준다.
• EMOC 기반 방법은 모든 업데이트 단계에서 높은 평균 정확도를 지속적으로 달성하여 안정적이고 지속적인 성능 향상을 보였다.
• 기울기 기반 근사 덕분에 계산이 효율적이므로, 큰 라벨가치가 없는 데이터셋에 대해 큰 오버헤드 없이 확장 가능한 응용이 가능하다.