[논문 리뷰] ScreenerNet: Learning Self-Paced Curriculum for Deep Neural Networks

Taehoon Kim, Jonghyun Choi|arXiv (Cornell University)|2018. 01. 03.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 21

한 줄 요약

ScreenerNet는 학습 난이도에 따라 동적으로 샘플 가중치를 할당하는 부착형 신경망을 사용하는 엔드 투 엔드, 자기 주도적 커리큘럼 학습 프레임워크를 제안한다. 이는 지도 학습 비전 작업과 딥 강화 학습에서 더 빠른 수렴과 향상된 정확도를 가능하게 한다. 기존 최고 수준의 방법들인 Prioritized Experience Replay를 능가하며, 과거 손실 값을 기억하지 않아도 되는 소프트하고 미분 가능한 가중치를 학습함으로써 샘플링 편향을 피한다.

ABSTRACT

We propose to learn a curriculum or a syllabus for supervised learning and deep reinforcement learning with deep neural networks by an attachable deep neural network, called ScreenerNet. Specifically, we learn a weight for each sample by jointly training the ScreenerNet and the main network in an end-to-end self-paced fashion. The ScreenerNet neither has sampling bias nor requires to remember the past learning history. We show the networks augmented with the ScreenerNet achieve early convergence with better accuracy than the state-of-the-art curricular learning methods in extensive experiments using three popular vision datasets such as MNIST, CIFAR10 and Pascal VOC2012, and a Cart-pole task using Deep Q-learning. Moreover, the ScreenerNet can extend other curriculum learning methods such as Prioritized Experience Replay (PER) for further accuracy improvement.

연구 동기 및 목표

• 하나의 결정 기반 커리큘럼 학습의 한계, 즉 샘플링 편향과 샘플 선택을 위한 수작업 규칙에 의존하는 문제를 해결하기 위해.
• 지도 학습과 딥 강화 학습 모두에서 딥 신경망의 더 빠르고 정확한 훈련을 가능하게 하기 위해.
• 이력 손실 값을 기억하거나 샘플 중요도를 추정하기 위해 다중 훈련 반복을 수행할 필요 없이.
• 기존 커리큘럼 방법들인 Prioritized Experience Replay와 결합할 수 있는 일반화 가능한 엔드 투 엔드 훈련 가능한 프레임워크를 개발하기 위해.
• 임베디드 또는 증분 학습 시스템과 같은 실시간 모델 업데이트가 필요한 실세계 응용 프로그램을 위해 경량이며 메모리 기반 오차 추정기 역할을 할 수 있도록.

제안 방법

• ScreenerNet는 주 네트워크와 함께 엔드 투 엔드 방식으로 동시에 훈련되는 보조 신경망으로, 각 훈련 샘플의 중요도(가중치)를 예측한다.
• 중요도는 샘플이 주 네트워크의 성능 향상에 기여할 가능성이 높다는 것으로 정의되며, 더 어려운 샘플일수록 더 높은 가중치를 가진다.
• 모델이 각 훈련 단계에서 높은 학습 잠재력을 가진 샘플에 집중하도록 유도하는 자기 주도 학습 목표를 사용한다.
• 샘플 가중치는 ScreenerNet의 미분 가능한 회귀 헤드를 통해 학습되며, 이는 주 네트워크가 올바르게 분류할 확률을 추정한다.
• 이 프레임워크는 과거 손실 값을 기억하지 않으며, 이전 방법들과 달리 추가적인 훈련 런이 필요하지 않다.
• ScreenerNet와 주 네트워크 간의 파라미터 공유를 탐색했지만 성능 저하가 발생하여, ScreenerNet가 주 네트워크의 학습과 상호보완적이며 별개의 목적을 학습하고 있음을 시사한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 미분 가능한 샘플 가중치 메커니즘이 딥 신경망의 훈련 속도와 정확도를 향상시킬 수 있는가?
• RQ2 ScreenerNet를 통해 엔드 투 엔드로 학습된 자기 주도 커리큘럼은 수작업 또는 메모리 기반 커리큘럼 방법과 비교해 어떻게 다른가?
• RQ3 ScreenerNet는 기존의 샘플 기반 방법들인 Prioritized Experience Replay와 효과적으로 통합되어 성능을 추가로 향상시킬 수 있는가?
• RQ4 ScreenerNet의 동적 가중치는 고정 또는 히우리스틱 기반 커리큘럼 전략에 비해 샘플링 편향을 줄이고 일반화 성능을 향상시키는가?
• RQ5 ScreenerNet는 특히 임베디드 또는 증분 학습 시스템에서 실시간 오차 추정기 역할을 할 수 있는가?

주요 결과

• ScreenerNet는 딥 Q러닝을 사용한 Cart-pole 강화 학습 작업에서 최고 수준의 커리큘럼 학습 방법보다 더 빠른 수렴과 더 높은 최종 정확도를 달성한다.
• 지도 학습 비전 작업에서는 Pascal VOC2012, CIFAR10, MNIST 세 가지 데이터셋에서 정확도 향상을 보였으며, 수렴 속도와 최종 성능 모두 일관된 개선을 보였다.
• 훈련 속도와 최종 정확도 모두 Prioritized Experience Replay(PER)를 능가하며, 조합하여 사용할 경우 PER의 성능을 추가로 향상시킬 수 있다.
• 시각적 분석 결과, 기준 모델에서 관찰되던 잘못된 분류 혼동 패tern을 ScreenerNet이 줄였다. 특히 4와 9와 같이 구분하기 어려운 클래스에서 두드러진 개선이 있었다.
• ScreenerNet 가중치가 높은 샘플은 시각적으로 모호하고 분류하기 어려운 반면, 낮은 가중치 샘플은 쉽게 구분 가능하다. 이는 방법이 의미 있는 난이도 신호를 올바르게 학습하고 있음을 확인한다.
• ScreenerNet와 주 네트워크 간의 파라미터 공유가 정확도를 저하시켜, ScreenerNet가 주 네트워크의 학습과 상호보완적이며 중복되지 않는 별개의 목적을 학습하고 있음을 시사한다.