[논문 리뷰] Where do goals come from? A Generic Approach to Autonomous Goal-System Development

Matthias Rolf, Minoru Asada|arXiv (Cornell University)|2014. 10. 21.

Reinforcement Learning in Robotics참고 문헌 43인용 수 9

한 줄 요약

이 논문은 내재 보상과 행동 결과의 자기 검출을 통해 에이전트가 자율적으로 목표를 고수준의 추상화로 학습할 수 있도록 하는 계산적 프레임워크인 잠재 목표 분석(Latent Goal Analysis, LGA)을 제안한다. 보상 신호를 설명하는 잠재 변수로 목표를 간주함으로써 LGA는 강화 학습에서 차원 축소를 가능하게 하고, 시각적 선명도 기반의 정보 탐색 보상에서 목표 지향적 도약의 탄생을 입증하며, 외부 감독 없이 자기 지도 목표 시스템 개발을 이룬다.

ABSTRACT

Goals express agents' intentions and allow them to organize their behavior based on low-dimensional abstractions of high-dimensional world states. How can agents develop such goals autonomously? This paper proposes a detailed conceptual and computational account to this longstanding problem. We argue to consider goals as high-level abstractions of lower-level intention mechanisms such as rewards and values, and point out that goals need to be considered alongside with a detection of the own actions' effects. We propose Latent Goal Analysis as a computational learning formulation thereof, and show constructively that any reward or value function can by explained by goals and such self-detection as latent mechanisms. We first show that learned goals provide a highly effective dimensionality reduction in a practical reinforcement learning problem. Then, we investigate a developmental scenario in which entirely task-unspecific rewards induced by visual saliency lead to self and goal representations that constitute goal-directed reaching.

연구 동기 및 목표

• 자율 에이전트가 외부 감독이나 사전 지정된 과제 없이 목표를 어떻게 개발할 수 있는지 오랫동안 열려 있는 문제를 해결하기 위해.
• 행동 결과의 자기 검출에 기반하여 목표를 하위 수준의 보상 및 가치 시스템의 고수준 추상화로 개념화하기 위해.
• 어떤 보상 함수도 잠재 목표와 자기 검출 메커니즘의 조합으로 설명할 수 있는 일반적인 계산 프레임워크를 개발하기 위해.
• LGA의 실용적 유용성을 강화 학습에서의 차원 축소 및 과제 비특화 보상에서 목표 지향적 행동을 부트스트랩하는 데에서 입증하기 위해.
• 시각적 선명도를 내재 보상으로 사용한 로봇학습 환경에서 목표 표현과 자기 인식의 발달적 탄생을 조사하기 위해.

제안 방법

• 목표를 보상 시스템의 추상화로 간주하고 행동 결과의 자기 검출과 함께 학습되어야 한다는 개념적 프레임워크를 제안한다.
• 감각, 행동, 보상 데이터로부터 잠재 목표와 자기 검출 상태를 식별하는 계산적 학습 공식으로서 잠재 목표 분석(LGA)을 도입한다.
• 목표와 자기 검출을 관측된 보상들을 설명하는 잠재 변수로 모델링함으로써 학습 문제를 확률적 추론 과제로 설정한다.
• 잠재 목표와 자기 검출에 대한 사후 분포를 근사하기 위해 변분 추론 접근법을 사용하여 확장 가능한 학습을 가능하게 한다.
• 학습된 목표를 고차원 데이터의 압축 표현으로 사용하여, 추천 시스템 과제에서 LGA를 차원 축소 기법으로 적용한다.
• 시각적 선명도를 과제 비특화 보상으로 사용한 발달적 로봇공학 실험을 구현하여, LGA가 목표 지향적 도약과 자기 표현의 탄생을 가능하게 함을 보였다.

실험 결과

연구 질문

• RQ1 에이전트는 외부 감독이나 사전 지정된 과제 없이 어떻게 자율적으로 목표를 학습할 수 있는가?
• RQ2 목표, 보상, 행동 결과의 자기 검출 사이의 개념적 관계는 무엇인가?
• RQ3 어떤 보상 함수도 잠재 목표와 자기 검출 메커니즘의 조합으로 설명될 수 있는가?
• RQ4 LGA는 강화 학습에서 효과적인 차원 축소 방법이 될 수 있는가?
• RQ5 시각적 선명도와 같은 과제 비특화 내재 보상은 목표 지향적 행동과 자기 표현의 탄생을 이끌 수 있는가?

주요 결과

• LGA는 보상 신호로부터 잠재 목표를 성공적으로 추출하여 온라인 뉴스 추천 과제에서 효과적인 차원 축소를 가능하게 하였다.
• 추천 시스템 실험에서 LGA를 통해 학습된 목표는 예측 성능에서 표준 기준 방법보다 뛰어난 성능을 보였다.
• 발달적 실험에서 선명도 기반의 정보 탐색 보상은 짧은 학습 기간 내에 로봇의 손과 대상 물체 사이의 접촉률을 100%로 이끌었다.
• 로봇은 거리에 따라 효능기의 다른 부분을 사용하여 물체에 접촉함으로써 적응적이고 비임의적인 목표 표현을 학습하였다.
• 손-물체 접촉의 자기 검출은 목표 표현과 함께 자연스럽게 탄생하였으며, 자기 지도 운동 학습을 위한 폐쇄 루프 시스템을 형성하였다.
• LGA와 목표 낭만주의(goal babbling)의 조합은 사전 프로그래밍된 목표나 과제 특화 보상 없이도 목표 지향적 도약 행동을 생성할 수 있게 하였다.