[논문 리뷰] Towards an Interpretable Hierarchical Agent Framework using Semantic Goals

Bharat Prakash, Nicholas R. Waytowich외 2명|arXiv (Cornell University)|2022. 10. 16.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 고수준 작업 분해를 위한 기호적 계획자와 해석 가능한 의미적 목표(공간적 및 촉각적 술어를 포함)에 조건부인 저수준 정책을 결합한 계층적 강화학습 프레임워크를 제안한다. 이는 장기적 시퀀스의 로봇 조작 작업에 대해 샘플 효율적인 학습을 가능하게 한다. 프레임워크는 다양한 블록 조작 작업에서 밀도 높은 보상 및 희박한 보상 기반 베이스라인을 모두 능가하며, 모든 평가 환경에서 100% 작업 성공률을 달성한다. 이는 향상된 해석 가능성과 인간-중심의 적응 가능성 덕분이다.

ABSTRACT

Learning to solve long horizon temporally extended tasks with reinforcement learning has been a challenge for several years now. We believe that it is important to leverage both the hierarchical structure of complex tasks and to use expert supervision whenever possible to solve such tasks. This work introduces an interpretable hierarchical agent framework by combining planning and semantic goal directed reinforcement learning. We assume access to certain spatial and haptic predicates and construct a simple and powerful semantic goal space. These semantic goal representations are more interpretable, making expert supervision and intervention easier. They also eliminate the need to write complex, dense reward functions thereby reducing human engineering effort. We evaluate our framework on a robotic block manipulation task and show that it performs better than other methods, including both sparse and dense reward functions. We also suggest some next steps and discuss how this framework makes interaction and collaboration with humans easier.

연구 동기 및 목표

• 장기적 시퀀스의 로봇 조작을 위한 강화학습에서 샘플 비효율성과 낮은 해석 가능성 문제를 해결하기 위해.
• 복잡한 수작업으로 구성된 밀도 높은 보상 함수에 대한 의존도를 줄이기 위해 인간이 이해할 수 있는 의미적 술어를 활용하기 위해.
• 기호적 계획을 통해 고수준 계획과 하위 목표를 해석 가능하게 하여 인간의 간섭과 협업을 가능하게 하기 위해.
• 분야 특화 술어를 사용한 계층적 작업 구조화를 통해 일반화 능력과 안전성을 향상시키기 위해.
• 모듈러한 계층적 에이전트 아키텍처를 사용하여 복잡하고 시간이 오래 소요되는 조작 작업에서의 실현 가능성과 샘플 효율성을 입증하기 위해.

제안 방법

• 프레임워크는 초기 상태와 목표 상태로부터 하위 목표의 시퀀스를 생성하기 위해 고수준 정책으로 기호적 STRIPS 계획자를 사용한다.
• 저수준 정책은 목표 조건부 강화학습을 통해 학습되며, 목표는 '가까이', '위에', '가지고 있음', '상자 안에' 등의 의미적 술어로 지정된다.
• 공간적 및 촉각적 술어에서 유도된 도메인 지식을 기반으로 의미적 목표 표현이 구성되며, 이는 목표 지정을 단순화하고 해석 가능성을 향상시킨다.
• 기계의 출력이 기호적이고 해석 가능하기 때문에 인간이 고수준 계획을 수정할 수 있으며, 하위 목표의 추가나 재정렬이 가능하다.
• 훈련 안정성과 샘플 효율성을 향상시키기 위해 커리큘럼 기반 접근 방식을 사용하여 하위 목표를 선별한다.
• 프레임워크는 2블록, 3블록, 데스크 정리 작업 등 세 가지 환경에서 평가되었으며, 각각 여러 개의 고수준 작업을 포함한다.

실험 결과

연구 질문

• RQ1 의미적 목표 표현을 사용하는 계층적 에이전트 프레임워크가 밀도 높은 보상 및 희박한 보상 기반 베이스라인 대비 장기적 시퀀스의 로봇 조작 작업에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 기호적 계획과 해석 가능한 술어를 사용할 경우, 작업 계획 과정에서 인간의 이해도와 간섭 능력은 어떻게 향상되는가?
• RQ3 복잡한 보상 설계 없이도 이 프레임워크는 다양한 조작 작업 간에 얼마나 잘 일반화되는가?
• RQ4 하위 작업을 여러 에이전트나 인간 간에 분할함으로써 협업 기반 작업 실행을 지원할 수 있는가?
• RQ5 의미적 목표 공간의 해석 가능성은 실제 로봇 작업에서 정책 행동과 안전성에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 2블록, 3블록, 데스크 정리 환경에서 모두 8개의 고수준 작업에서 100% 작업 성공률을 달성하여 모든 베이스라인을 능가했다.
• 평평한 의미적 베이스라인은 '블록을 떼어내기' 작업에서는 성공했지만, 공격적인 정책을 학습하여 블록을 테이블에서 떨어뜨렸고, 제안된 방법은 더 부드럽고 안전한 정책을 학습했다.
• 모든 베이스라인(밀도 높은 보상 함수 포함)은 500만 번의 훈련 스텝 이후에도 작업을 해결하지 못했으며, 이는 의미적 목표 기반 접근의 우수성을 시사한다.
• 의미적 술어의 사용으로 인해 밀도 높은 보상 함수가 필요로 하는 수작업의 양이 크게 감소했다.
• 기호적 계획기는 계획의 검토와 수정을 용이하게 하여 협업과 간섭을 촉진했다.
• 복잡하고 시간이 오래 소요되는 작업에서 프레임워크는 뛰어난 내구성과 샘플 효율성을 보였으며, 실제 적용 가능성에 강력한 잠재력을 보였다.