[논문 리뷰] Deep Reinforcement One-Shot Learning for Artificially Intelligent Classification Systems

Anton Puzanov, Kobi Cohen|arXiv (Cornell University)|2018. 08. 04.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 15

한 줄 요약

이 논문은 자원 제약 조건 하에서 시스템 전반의 성능을 최적화하기 위해 희귀 사건을 자동으로 분류할지 또는 인간 분석가에게 라우팅할지 동적으로 결정하는 새로운 딥 강화학습 프레임워크인 Deep Reinforcement One-shot Learning (DeROL)을 제안한다. 이는 수동 임계값 기반 방법과 최소 신뢰도(active learning) 기반 베이스라인을 능가하며, 누적 보상 최대화와 지연 및 분석가의 작업 부담 최소화를 동시에 고려한 적응형 정책을 학습한다.

ABSTRACT

In recent years there has been a sharp rise in networking applications, in which significant events need to be classified but only a few training instances are available. These are known as cases of one-shot learning. Examples include analyzing network traffic under zero-day attacks, and computer vision tasks by sensor networks deployed in the field. To handle this challenging task, organizations often use human analysts to classify events under high uncertainty. Existing algorithms use a threshold-based mechanism to decide whether to classify an object automatically or send it to an analyst for deeper inspection. However, this approach leads to a significant waste of resources since it does not take the practical temporal constraints of system resources into account. Our contribution is threefold. First, we develop a novel Deep Reinforcement One-shot Learning (DeROL) framework to address this challenge. The basic idea of the DeROL algorithm is to train a deep-Q network to obtain a policy which is oblivious to the unseen classes in the testing data. Then, in real-time, DeROL maps the current state of the one-shot learning process to operational actions based on the trained deep-Q network, to maximize the objective function. Second, we develop the first open-source software for practical artificially intelligent one-shot classification systems with limited resources for the benefit of researchers in related fields. Third, we present an extensive experimental study using the OMNIGLOT dataset for computer vision tasks and the UNSW-NB15 dataset for intrusion detection tasks that demonstrates the versatility and efficiency of the DeROL framework.

연구 동기 및 목표

• 새로운 클래스에 대해 희귀하거나 전혀 훈련 예제가 제공되지 않는 실세계 시스템에서의 원샷 학습 문제를 해결한다.
• 시간적 또는 자원 제약 조건을 고려하지 않는 기존 임계값 기반 라우팅 메커니즘이 분석가의 시간을 낭비하는 비효율성을 해결한다.
• 실시간으로 인간 분석가의 피드백을 학습하여 수동 하이퍼파라미터 조정 없이도 분류 결정을 향상시키는 적응형, 자가조정형 AI 시스템을 개발한다.
• 컴퓨터 비전(OMNIGLOT)과 네트워크 침입 탐지(UNSW-NB15)를 포함한 다양한 도메인에서의 프레임워크의 유연성을 입증한다.

제안 방법

• 에이전트가 현재 상태에 기반해 자동 분류 또는 분석가에게 전달하는 행동을 선택하는 방식으로, 원샷 분류 결정 과정을 마르코프 결정 과정(MDP)으로 수식화한다.
• 입력 상태(예: 특징 임bedding, 클래스 메모리, 분석가 부하 등)를 행동으로 매핑하는 정책을 학습하기 위해 딥 Q네트워크(DQN)를 훈련한다.
• 틀린 분류에 대해 보상 감소(예: 악성으로 잘못 분류하면 -30), 지연에 대해 보상 감소(RD = -2TD/10), 분석가 부하에 대해 보상 감소(RA = -0.5·LA(t))를 적용하고, 정확한 결정에는 보상을 부여하는 맞춤형 보상 함수를 설계한다.
• UNSW-NB15 작업에서는 이미지 전용 메트릭(예: 수정된 하우스도르프 거리)과는 달리 유클리드 거리를 유사도 비교에 사용한다.
• 원샷 학습 조건을 시뮬레이션하기 위해 클래스당 최대 20개의 샘플을 저장하는 동적 메모리 메커니즘을 구현한다(정상 및 악성 샘플 간 균형 유지).
• 고차원 상태 공간에서의 학습 안정성과 수렴성 향상을 위해 DQN 훈련 과정에 경험 재생과 타겟 네트워크를 적용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 수동 하이퍼파라미터 조정 없이도 원샷 학습 환경에서 최적의 라우팅 결정(자동 분류 대비 인간 분류)을 학습할 수 있는가?
• RQ2 제한된 분석가 가용성과 시간 제약 조건 하에서 DeROL 프레임워크는 기존의 임계값 기반 및 최소 신뢰도(active learning) 방법보다 어떻게 성능을 발휘하는가?
• RQ3 DeROL 프레임워크는 이미지 인식 및 네트워크 침입 탐지와 같은 다양한 원샷 분류 작업에 얼마나 잘 일반화되는가?
• RQ4 분석가 부하 변동이나 이벤트 처리 지연과 같은 환경 변화에 시스템은 어떻게 적응하는가?
• RQ5 보상 함수 설계는 실세계 배포 환경에서 정책 수렴과 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• DeROL 알고리즘은 OMNIGLOT 및 UNSW-NB15 데이터셋 전반에서 누적 보상 측면에서 최소 신뢰도(active learning) 기반 베이스라인을 크게 능가하는 안정된 정책으로 수렴한다.
• 프레임워크는 (# 정확한 분류 수 + # 레이블 요청 수) / 총 샘플 수로 정의된 분류 정확도가 99% 이상을 기록하여 원샷 조건 하에서도 높은 신뢰성을 입증한다.
• 지연에 대한 보상 감소가 선형적으로 감소하는 것(예: RD = -2TD/10)을 통해 지연을 피하는 정책이 효과적으로 작동함을 입증하며, 이는 신속한 의사결정을 유도한다.
• 분석가 부하가 높을 경우 동적 보상 메커니즘(RA = -0.5·LA(t))을 통해 인간 분석가에 대한 의존도를 감소시킴으로써 시스템이 분석가 부하 변화에 적응함을 보여준다.
• 최소한의 아키텍처 변경으로도 이미지 기반(OMNIGLOT)과 네트워크 기반(UNSW-NB15) 분류 작업을 모두 성공적으로 처리함으로써 프레임워크의 유연성을 입증한다.
• 그림 7(b)의 경험적 행동 확률은 정책이 필요할 경우에만 분류를 연기함을 보여주며, 자신감과 시스템 상태에 기반한 지능적인 라우팅을 학습하고 있음을 나타낸다.