[논문 리뷰] Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach

Giulio Mazzi, Alberto Castellini외 1명|arXiv (Cornell University)|2020. 12. 23.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 4

한 줄 요약

이 논문은 POMCP 정책에서 예상치 못한 결정을 탐지하기 위해 규칙 기반, SMT 기반의 방법론을 제안한다. 신뢰도 있는 믿음-행동-관측 추적을 분석함으로써, 조정 가능한 파rameter를 가진 전문가가 제공한 논리적 규칙을 정식화하고 MAX-SMT 문제를 해결함으로써, 정책의 예상 행동에서의 이탈을 식별한다. 이 방법은 기존의 최첨단 이상 탐지 방법에 비해 AUC에서 최대 47% 향상된 성능을 달성한다.

ABSTRACT

Partially Observable Monte-Carlo Planning (POMCP) is a powerful online algorithm able to generate approximate policies for large Partially Observable Markov Decision Processes. The online nature of this method supports scalability by avoiding complete policy representation. The lack of an explicit representation however hinders interpretability. In this work, we propose a methodology based on Satisfiability Modulo Theory (SMT) for analyzing POMCP policies by inspecting their traces, namely sequences of belief-action-observation triplets generated by the algorithm. The proposed method explores local properties of policy behavior to identify unexpected decisions. We propose an iterative process of trace analysis consisting of three main steps, i) the definition of a question by means of a parametric logical formula describing (probabilistic) relationships between beliefs and actions, ii) the generation of an answer by computing the parameters of the logical formula that maximize the number of satisfied clauses (solving a MAX-SMT problem), iii) the analysis of the generated logical formula and the related decision boundaries for identifying unexpected decisions made by POMCP with respect to the original question. We evaluate our approach on Tiger, a standard benchmark for POMDPs, and a real-world problem related to mobile robot navigation. Results show that the approach can exploit human knowledge on the domain, outperforming state-of-the-art anomaly detection methods in identifying unexpected decisions. An improvement of the Area Under Curve up to 47\% has been achieved in our tests.

연구 동기 및 목표

• POMCP 정책의 암묵적, 믿음 기반 표현으로 인해 발생하는 해석 가능성 부족 문제를 해결하기 위해.
• 특히 안전이 중요한 로봇 응용 분야에서 도메인 가정을 위반하는 정책 행동을 인간 전문가가 탐지할 수 있도록 하기 위해.
• 완전한 정책 재학습이 필요 없이도 스케일링 가능하고 반복적인 방법으로 POMCP 추적에서 이질적 결정을 식별하기 위한 방법을 개발하기 위해.
• 분석 과정에 인간이 제공한 논리적 제약 조건을 통합하여 기존 이상 탐지 방법을 능가하기 위해.
• POMCP가 전문가 기대치에서 벗어나 어떤 시점에서, 왜 벗어나는지를 명확히 드러내는 설명 가능한 결정 경계를 제공하기 위해.

제안 방법

• 전문가 지식을 표현하기 위해 파rametric 논리 공식, 즉 규칙 템플릿을 사용하여 예상되는 에이전트 행동에 대한 지침을 기술한다 (예: '장애물이 많은 경로일 확률이 낮을 때만 빠르게 이동하라').
• POMCP 실행 동안 생성된 믿음-행동-관측 삼중항의 추적을 분석하여, MAX-SMT 솔버를 통해 규칙 파rameter를 추론함으로써 참이 되는 절의 수를 최대화한다.
• 파rameter 조정 작업을 MAX-SMT 문제로 정식화함으로써, 규칙가 완전히 만족되지 않을 경우 근사적 해를 도출할 수 있도록 한다.
• 최적화된 규칙에서 유도된 결정 경계를 사용하여 믿음 상태에 기반해 정책 결정이 예상되는지 아니면 예상치 못한 것인지 분류한다.
• 헬링거 거리(Hellinger distance)를 사용하여 믿음 상태와 규칙 경계 사이의 분산을 정량화함으로써 이상치 순위 매기기에 기여한다.
• 이 과정은 반복적이다: 전문가들은 식별된 이상 현상에 기반해 규칙를 재조정함으로써 국소적 정책 행동 탐색이 가능해진다.

실험 결과

연구 질문

• RQ1 기존의 최첨단 이상 탐지 방법에 비해 규칙 기반, SMT 기반 접근법이 POMCP 정책에서 예상치 못한 결정을 더 효과적으로 탐지할 수 있는가?
• RQ2 에이전트 행동에 대한 전문가가 제공한 정성적 가정은 어떻게 형식화하고 추적 데이터를 통해 정량적으로 검증할 수 있는가?
• RQ3 인간 지식의 통합이 정책 이상 탐지의 해석 가능성과 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 학습된 규칙에서 유도된 결정 경계는 믿음 상태 분포와 이상 탐지 성능 측면에서 실제 정책 결정과 어떻게 비교되는가?
• RQ5 정책이 규칙을 완전히 위반하지는 않지만 약간의 이탈을 보일 경우에도 이 방법은 이상 현상을 식별하고 순위를 매길 수 있는가?

주요 결과

• 제안된 방법은 POMCP 정책에서 예상치 못한 결정을 탐지할 때, 최첨단 이상 탐지 방법 대비 최대 47% 향상된 AUC(Area Under Curve) 성능을 달성하였다.
• 보상 파rameter를 의도적으로 잘못 설정한 속도 조절 작업에서 (W=90), 이 방법은 3500개의 결정 중 4개를 예상치 못한 것으로 정확히 식별하였으며, 전부 전문가 분석 결과 이상으로 확인되었다.
• 믿음 상태가 거의 균일한 경우(예: p0≈p1≈p2≈0.33)에도 불구하고 예상치 못한 결정을 탐지할 수 있었으며, 이는 낮은 정보량에도 불구하고 잘못된 행동에 대해 높은 자신감을 가졌다는 것을 시사한다.
• t-SNE 시각화 결과, 예상치 못한 결정은 믿음 공간에서 종종 고립되어 있었으며, 특히 규칙 경계로부터 높은 헬링거 거리를 가진 결정들이 이상 현상의 공간적 일관성을 확인시켰다.
• 이 방법은 타이거 벤치마크에서 4개의 이상 현상을, 로봇 주행 작업에서 4개의 이상 현상을 모두 식별하였으며, 이는 전부 전문가 기대와 일치하고 규칙 템플릿에서 벗어난 것으로 확인되었다.
• MAX-SMT 정식화 덕분에 규칙 템플릿이 완전히 만족되지 않더라도 강력한 파rameter 추정이 가능하여, 실제 정책 추적에서 효과적인 이상 탐지가 가능했다.