[논문 리뷰] Out-of-Distribution Dynamics Detection: RL-Relevant Benchmarks and Results

Mohamad H. Danesh, Alan Fern|arXiv (Cornell University)|2021. 07. 11.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 OpenAI Gym과 Bullet과 같은 표준 강화학습 벤치마크에서 유도된, 강화학습 환경에서 분포 외 동역학 감지(OODD)를 위한 최초의 벤치마크 세트를 소개한다. 예측 오차를 통한 자동회귀 모델에서의 이상치를 식별하는 RNN 기반의 암묵적 퀀틸 네트워크(RIQN) 기반 감지 방법을 제안하며, AUC, 탐지 지연, 오진률 지표에서 향상 가능한 여지가 있는 비현저한 성능을 달성한다.

ABSTRACT

We study the problem of out-of-distribution dynamics (OODD) detection, which involves detecting when the dynamics of a temporal process change compared to the training-distribution dynamics. This is relevant to applications in control, reinforcement learning (RL), and multi-variate time-series, where changes to test time dynamics can impact the performance of learning controllers/predictors in unknown ways. This problem is particularly important in the context of deep RL, where learned controllers often overfit to the training environment. Currently, however, there is a lack of established OODD benchmarks for the types of environments commonly used in RL research. Our first contribution is to design a set of OODD benchmarks derived from common RL environments with varying types and intensities of OODD. Our second contribution is to design a strong OODD baseline approach based on recurrent implicit quantile network (RIQN), which monitors autoregressive prediction errors for OODD detection. In addition to RIQN, we introduce and test three other simpler baselines. Our final contribution is to evaluate our baseline approaches on the benchmarks to provide results for future comparison.

연구 동기 및 목표

• 강화학습 환경에서 분포 외 동역학 감지(OODD)를 위한 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• CartPole, LunarLander, Ant와 같은 일반적인 RL 환경에 다양한 동적 이상을 주입하여 현실적인 OODD 벤치마크를 생성하기 위해.
• 자기연쇄 모델을 기반으로 한 예측 실패를 이용한 기본 OODD 감지 방법을 개발하고 평가하기 위해, 이를 통해 RIQN, RNN, 랜덤 포레스트, 결정론적 모델을 포함한다.
• 향후 방법 비교를 위한 재현 가능한 평가 프레임워크를 제공하기 위해 AUC, 탐지 지연, 오진률 등의 지표를 포함한다.
• GitHub에 벤치마크와 기본 모델의 공개 코드를 제공하여 향후 연구를 자극하기 위해.

제안 방법

• 벤치마크 환경는 IQN(OpenAI Gym용), TD3(Bullet용)를 사용해 각 환경당 10,000개의 정상 트레이젝터리를 생성하는 정상 정책를 훈련시켜 구축된다.
• 시험 시점 트레이젝터리에 이상 동역학을 주입하기 위해 환경 파라미터(예: 질량, 마찰계수, 중력)를 무작위 시간 단계에서 수정하여 각 환경당 1,000개의 이상 트레이젝터리를 생성한다.
• 과거 상태를 바탕으로 향후 관측치의 분포를 추정하기 위해 순환형 암묵적 퀀틸 네트워크(RIQN)를 핵심 예측 모델로 사용한다.
• 이상치 점수는 진짜 관측치와 예측된 분포 간의 거리(예: 퀀틸 기반 손실을 통해)로 계산되며, 거리가 클수록 이상 가능성은 높아진다.
• 세 가지 간단한 베이스라인을 평가한다: 랜덤 포레스트, 결정론적 RNN, 표준 RNN 기반 예측기이며, 모두 예측 오차를 이상 신호로 사용한다.
• 평가에는 AUC(분류 능력), 탐지 지연(이상을 경고하는 데 걸리는 시간), 오진률(허위 탐지)의 세 가지 지표를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 예측 모델이 표준 RL 환경에서 분포 외 동역학 변화를 감지하는 데 얼마나 효과적인가?
• RQ2 다양한 이상 유형과 강도에서 탐지 지연, AUC, 오진률 간의 상호 상충 관계는 어떻게 되는가?
• RQ3 고차원 상태 공간에서 RIQN과 같은 확률적 자동회귀 모델이 단순한 베이스라인을 능가할 수 있는가?
• RQ4 질량 변화, 마찰계수 이동 등의 다양한 이상 주입 전략이 탐지 가능성과 모델 성능에 어떤 영향을 미치는가?
• RQ5 현재의 베이스라인은 얼마나 신뢰할 수 있는 OODD 감지를 달성하고 있으며, 향후 방법 개발을 위한 여전히 남아 있는 격차는 무엇인가?

주요 결과

• RIQN 기반 베이스라인은 OODD 벤치마크에서 비현저한 성능을 달성하며, RL 동역학에서 예측 불확실성을 이용한 이상 탐지의 가능성을 입증한다.
• 탐지 성능은 환경과 이상 유형에 따라 크게 달라지며, CartPole와 같은 단순한 환경보다 Ant와 Hopper와 같은 환경에서 더 높은 AUC 값을 기록한다.
• RIQN의 경우 일반적으로 탐지 지연이 낮아 이른 시점에 이상을 탐지할 수 있으나, 이상 강도와 복잡도가 높아질수록 지연이 증가한다.
• RIQN과 결정론적 RNN의 경우 오진률이 상대적으로 낮은 편이지만, 랜덤 포레스트 베이스라인은 고차원 상태 공간에서 특히 더 높은 오진을 보인다.
• 벤치마크는 현재 방법들이 낮은 지연과 높은 AUC, 낮은 오진률을 동시에 달성하기 위해 여전히 큰 개선 여지를 가지고 있음을 드러낸다.
• 벤치마크와 코드의 공개로 재현 가능한 평가가 가능해지고, 향후 RL 분야의 OODD 감지 연구를 촉진한다.