[논문 리뷰] A Factor-Based Framework for Decision-Making Competency Self-Assessment

Brett Israelsen, Nisar Ahmed|arXiv (Cornell University)|2022. 03. 22.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 확률적 메타리asoning을 사용하여 자율 에이전트가 의사결정 능력을 자기 평가할 수 있는 요소 기반 프레임워크 FaMSeC를 제안한다. 작업별 보상 분포와 솔버 성능에 기반해 결과 난이도 및 솔버 품질과 같은 해석 가능한 자기신뢰도 점수를 계산함으로써, 각 시나리오마다 전문가 입력이 필요 없이 신뢰할 수 있고 인간이 이해할 수 있는 신뢰 신호를 제공한다.

ABSTRACT

We summarize our efforts to date in developing a framework for generating succinct human-understandable competency self-assessments in terms of machine self confidence, i.e. a robot's self-trust in its functional abilities to accomplish assigned tasks. Whereas early work explored machine self-confidence in ad hoc ways for niche applications, our Factorized Machine Self-Confidence framework introduces and combines several aspects of probabilistic meta reasoning for algorithmic planning and decision-making under uncertainty to arrive at a novel set of generalizable self-confidence factors, which can support competency assessment for a wide variety of problems.

연구 동기 및 목표

• 자율 에이전트가 인간 감독자에게 해석 가능하고 신뢰할 수 있는 방식으로 자신의 의사결정 능력을 평가할 수 있도록 하는 데 도전 과제를 해결하기 위해.
• 모든 가능한 시나리오마다 전문가가 주석한 신뢰도 값이 필요하지 않은 일반화 가능한 알고리즘 프레임워크를 개발하기 위해.
• 에이전트에서 제공하는 간결하고 정량화된 자기 평가 보고서를 통해 인간 감독자가 더 나은 결정을 내릴 수 있도록 지원하기 위해.
• 임의의 방법에 국한되지 않고 의사결정 구성 요소의 확률적 추론과 확률적 메타분석에 기반해 기계의 자기신뢰를 확장하기 위해.

제안 방법

• 프레임워크는 계획 알고리즘 및 모델과 같은 자율 에이전트의 의사결정 파이프라인의 핵심 구성 요소에서 자기신뢰도 요소를 계산한다.
• 누적 작업 보상 값이 사용자가 정의한 최소 수용 가능한 기준을 초과할 확률을 측정하기 위해 상부분위모멘트 대 하부분위모멘트(UPM/LPM) 비율을 사용하여 결과 평가 요소($x_O$)를 형성한다.
• 솔버 품질 요소($x_Q$)는 이력 성능 데이터를 기반으로 학습된 서rogate 모델을 사용하여 구현된 솔버의 성능을 신뢰할 수 있는 골드스탠더드 솔버와 비교한다.
• 모든 $x_O$ 및 $x_Q$는 해석 가능성과 인간 이해를 위해 표준화된 범위(예: [-1, +1])로 변환되고 스케일링된다.
• 의미론적 결과 모델링과 서rogate 학습을 통해 보상 기반 외 결과와 블랙박스 월드 모델로의 일반화를 지원한다.
• 작업 실행 중에 자동으로 실시간 자기신뢰도 보고서를 생성함으로써 전문가의 신뢰도 할당에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 일반적인 목적의 알고리즘 프레임워크가 각 시나리오마다 전문가 입력이 필요 없이 해석 가능한 자기신뢰도 점수를 계산할 수 있는가?
• RQ2 결과 난이도($x_O$) 및 솔버 품질($x_Q$)과 같은 자기신뢰도 요소가 작업 디스패칭에서 인간 감독자의 성능을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 자기신뢰도 보고서가 다중 작업 환경에서 인간의 신뢰도와 의사결정 속도에 어느 정도 영향을 미치는가?
• RQ4 이 프레임워크는 보상 기반 외 결과와 기계학습 기반 월드 모델로까지 확장될 수 있는가?

주요 결과

• 255명의 참가자가 참여한 인간-중재 시험에서 FaMSeC 요소($x_O$ 및 $x_Q$) 중 하나 이상이 포함된 경우 누적 배달 점수가 유의미하게 향상되었다.
• 자기신뢰도 보고서는 인간 감독자의 자가 보고된 신뢰 수준에 약한 영향을 미쳤지만 여전히 긍정적인 효과를 보였다.
• 자기신뢰도 보고서의 존재가 의사결정 시간에 거의 영향을 주지 않아, 인지적 오버헤드가 최소한이었다.
• $x_O$ 요소는 성능 기준에 비해 작업 성공 가능성의 정도를 성공적으로 캡처했으며, -1(완전한 불신뢰)에서 +1(완전한 신뢰)까지의 범위를 가졌다.
• $x_Q$ 요소는 서rogate 모델링을 사용하여 후보 솔버의 신뢰할 수 있는 골드스탠더드 솔버 대비 상대적 성능을 효과적으로 정량화했다.
• 자율 배달 트럭이 복잡하고 불확실한 환경을 주행하는 실제 시뮬레이션 시나리오에서 프레임워크의 실현 가능성과 유용성이 입증되었다.