[논문 리뷰] Explicability? Legibility? Predictability? Transparency? Privacy? Security? The Emerging Landscape of Interpretable Agent Behavior

Tathagata Chakraborti, Anagha Kulkarni외 3명|arXiv (Cornell University)|2018. 11. 23.

Logic, Reasoning, and Knowledge인용 수 50

한 줄 요약

본 논문은 에이전트 행동의 해석 가능성 개념에 대한 분류 체계를 조사하고 정리하며, (설명 가능성, 가독성, 예측 가능성, 투명성)에 관한 분류를 확장하여 cooperative 및 adversarial 설정에서의 프라이버시/보안과 연결하고, 관찰자 모델이 계획 해석에 어떻게 영향을 주는지 명확히 한다.

ABSTRACT

There has been significant interest of late in generating behavior of agents that is interpretable to the human (observer) in the loop. However, the work in this area has typically lacked coherence on the topic, with proposed solutions for "explicable", "legible", "predictable" and "transparent" planning with overlapping, and sometimes conflicting, semantics all aimed at some notion of understanding what intentions the observer will ascribe to an agent by observing its behavior. This is also true for the recent works on "security" and "privacy" of plans which are also trying to answer the same question, but from the opposite point of view -- i.e. when the agent is trying to hide instead of revealing its intentions. This paper attempts to provide a workable taxonomy of relevant concepts in this exciting and emerging field of inquiry.

연구 동기 및 목표

• 설명 가능성, 가독성, 예측 가능성, 투명성 간의 일관된 정의와 관계를 에이전트 행동에서 명확히 한다.
• 인터프리터 계획의 협력적 설정과 대립적 설정을 구분한다.
• 관찰자 모델과 계산 제약이 계획 해석에 어떻게 영향을 미치는지 설명한다.
• 온라인 대 오프라인 상호작용과 해석 가능성 척도에 미치는 영향을 강조한다.

제안 방법

• 에이전트와 관찰자를 모델링하기 위한 일반적인 프레임워크를 제시한다( Pi^A, Pi^Theta 포함), 계획 문제, 계획, 계산 모델, 관찰 모델을 포함한다.
• 이 프레임워크 내에서 설명 가능성, 예측 가능성, 가독성, 투명성을 정의하고 구분한다.
• 모션 계획과 작업 계획 도메인 및 관찰자의 계산 능력의 역할을 논의한다.
• 관련 연구를 요약하고 협력적 설정과 대립적 설정에 걸친 개념의 표를 제공한다.
• 학습 관찰자 모델 및 장기 상호작용을 포함한 열린 문제와 잠재적 확장을 논의한다.

실험 결과

연구 질문

• RQ1 계획에서의 설명 가능성, 가독성, 예측 가능성, 투명성 간의 정확한 정의와 관계는 무엇인가?
• RQ2 관찰자 모델과 계산 제약이 에이전트가 해석 가능한 행동을 생산하는 능력을 어떻게 형성하는가?
• RQ3 협력적 설정과 대립적 설정은 해석 가능한 계획을 달성하기 위한 목표와 방법을 어떻게 바꾸는가?
• RQ4 온라인 대 오프라인 해석 가능성 및 관찰자 모델 학습의 주요 차이점과 향후 방향은 무엇인가?

주요 결과

• 관찰자 모델과 목표/계획 완료에 연결되는 설명 가능성, 가독성, 예측 가능성, 투명성의 일관된 분류 체계가 제안된다.
• 설명 가능성과 예측 가능성은 비단선적이며 온라인 대 오프라인 설정에서 계획의 접두사나 접미사에 의존할 수 있다.
• 가독성 또는 투명성은 목표 추론과 관련되며, 가능한 관찰자 목표 간의 모호성 최소화를 필요로 한다.
• 프레임워크는 모션 계획과 작업 계획을 구분하며, 관찰자의 계산 능력이 해석 가능성 척도에 미치는 영향을 논의한다.
• 대립적 설정(프라이버시, 은폐, 기만, 보안)에 대한 논의와 이것이 협력적 해석 가능성과 어떤 관련이 있는지 다룬다.