[논문 리뷰] QBDC: Query by dropout committee for training deep supervised architecture

Mélanie Ducoffe, Fŕed́eric Precioso|arXiv (Cornell University)|2015. 11. 19.

Algorithms and Data Compression참고 문헌 3인용 수 10

한 줄 요약

이 논문은 배치 단위 드롭아웃을 사용해 부분적인 CNN의 위원회를 시뮬레이션하는 QBDC를 제안한다. 이는 효율적이고 저비용의 샘플 선택을 가능하게 하며, MNIST에서 전체 학습 데이터의 30%만을 사용해 최신 기술 수준에 근접한 정확도를 달성한다. 적대적 예제에 대한 강건성은 최소한의 저하를 보인다.

ABSTRACT

While the current trend is to increase the depth of neural networks to increase their performance, the size of their training database has to grow accordingly. We notice an emergence of tremendous databases, although providing labels to build a training set still remains a very expensive task. We tackle the problem of selecting the samples to be labelled in an online fashion. In this paper, we present an active learning strategy based on query by committee and dropout technique to train a Convolutional Neural Network (CNN). We derive a commmittee of partial CNNs resulting from batchwise dropout runs on the initial CNN. We evaluate our active learning strategy for CNN on MNIST benchmark, showing in particular that selecting less than 30 % from the annotated database is enough to get similar error rate as using the full training set on MNIST. We also studied the robustness of our method against adversarial examples.

연구 동기 및 목표

• 딥 러닝을 위한 대규모 학습 데이터셋의 레이블링 비용을 줄여, 레이블링이 필요한 샘플 수를 감소시키기 위해.
• 질의-위원회(QBC) 전략을 위한 전체 위원회를 훈련하는 데 있어 계산상의 비현실성을 해결하기 위해.
• 낮은 레이블 데이터로도 높은 성능을 유지하는, 효율적이고 확장 가능한 액티브 러닝 방법을 개발하기 위해 딥 컨volution 네트워크(CNN)에 특화된 방법을 개발하기 위해.
• 전체 데이터셋으로 훈련된 모델와 비교해, 선택된 모델의 적대적 예제에 대한 강건성을 평가하기 위해.
• 드롭아웃 기반의 경량 근사 방법을 통해 깊이 있는 아키텍처에 위원회 기반 액티브 러닝을 적용할 수 있는 가능성을 입증하기 위해.

제안 방법

• 단일 전체 CNN을 훈련하고, 추론 중에 배치 단위 드롭아웃을 사용해 부분적, 하위 네트워크의 위원회를 생성하기 위해.
• 드롭아웃 정규화된 하위 네트워크 간의 이견을 이용해 불확실성을 추정하고, 레이블링에 가장 유용한 샘플을 선택하기 위해.
• 각 반복에서 위원회가 새로운 미니배치 샘플을 선택해 레이블링하기 위한 배치 기반 액티브 러닝 전략을 적용하기 위해.
• 선택된 샘플 서브셋으로 전체 CNN을 재학습하여, 더 적은 레이블 예제로도 점진적으로 성능을 향상시키기 위해.
• 빠른 기울기 부호 방법(FGSM)을 사용해 적대적 예제를 생성하고, QBDC로 훈련된 모델의 강건성을 평가하기 위해.
• 표준 지표인 테스트 오차율과 적대적 예제 탐지 능력을 사용해 QBDC의 성능을 무작위 샘플링 및 전체 데이터셋 훈련과 비교하기 위해.

실험 결과

연구 질문

• RQ1 높은 계산 비용으로 인해 여러 개의 전체 네트워크를 훈련하는 것이 비현실적인 데도 불구하고, 질의-위원회 전략을 딥 네트워크에 효과적으로 적용할 수 있는가?
• RQ2 전체 MNIST 데이터셋의 일부만을 사용해 훈련했을 때 QBDC의 테스트 정확도는 얼마나 되는가?
• RQ3 드롭아웃 기반의 위원회 이견에 기반한 액티브 러닝 전략이 무작위 샘플링보다 더 나은 샘플 선택을 이끌 수 있는가?
• RQ4 적대적 예제에 노출되었을 때, QBDC로 훈련된 모델의 강건성은 전체 데이터셋 모델과 비교해 어떻게 되는가?
• RQ5 QBDC를 통해 학습 세트 크기를 줄일 경우, 모델의 일반화 능력과 입력 편향에 대한 민감도는 어느 정도 영향을 받는가?

주요 결과

• QBDC는 MNIST에서 전체 학습 데이터의 30%만을 사용해 평균 테스트 오차율 1.10%를 달성했으며, 전체 데이터셋으로 훈련된 모델의 성능에 근접했다.
• QBDC의 최고 오차율은 0.99%였으며, 이는 레이블링 노력의 크게 감소에도 불구하고 높은 정확도를 유지할 수 있음을 보여준다.
• 드롭아웃를 사용한 QBDC는 드롭아웃를 사용하지 않은 QBDC보다 약간 열악한 성능(평균 오차율 1.53%)을 보였으며, 이는 이 특정 설정에서는 드롭아웃가 유리하지 않음을 시사한다.
• QBDC로 훈련된 모델는 전체 데이터셋 모델보다 ε=0.1일 때 4% 더 많은 적대적 예제를 탐지하는 등, 약간 더 적대적 예제에 민감한 것으로 나타났다.
• 적대적 예제에 대한 민감도가 증가했음에도 불구하고, QBDC 모델는 강력한 일반화 성능을 유지했으며, 이는 감소된 학습 세트가 모델 안정성에 심각한 영향을 주지 않는다는 것을 시사한다.
• 이 방법은 CIFAR-10과 같은 더 복잡한 데이터셋으로의 확장 가능성과, 준지도 학습 또는 정규화 기반 기법과의 통합 가능성도 보여준다.