[논문 리뷰] Perceptual Reward Functions

Ashley D. Edwards, Charles L. Isbell외 1명|arXiv (Cornell University)|2016. 08. 12.

Reinforcement Learning in Robotics참고 문헌 14인용 수 14

한 줄 요약

이 논문은 도메인 특화 보상 파rameter에 의존하지 않고, 에이전트의 상태와 목표 이미지 간의 시각적 유사도를 사용하여 강화학습 작업을 지정하는 방법인 감각 보상 함수(Perceptual Reward Functions, PRFs)를 소개한다. 운동 템플릿과 HOG 특징을 사용해 시각적 표현을 비교함으로써, PRFs는 원시 픽셀에서 직접 복잡한 행동—예를 들어 표정이나 오리지니 퍼짐 접기—을 학습할 수 있게 해주며, 에이전트와 목표 표현이 원본이나 외관에서 다를 경우에도 효과적인 작업 학습을 보여준다.

ABSTRACT

Reinforcement learning problems are often described through rewards that indicate if an agent has completed some task. This specification can yield desirable behavior, however many problems are difficult to specify in this manner, as one often needs to know the proper configuration for the agent. When humans are learning to solve tasks, we often learn from visual instructions composed of images or videos. Such representations motivate our development of Perceptual Reward Functions, which provide a mechanism for creating visual task descriptions. We show that this approach allows an agent to learn from rewards that are based on raw pixels rather than internal parameters.

연구 동기 및 목표

• 도메인 특화 상태 변수에 의존하는 수작업으로 설계된 보상 함수에 의존하는 복잡한 강화학습 작업을 지정하는 데 도전하는 것.
• 사람들이 영상이나 이미지를 통해 학습하는 것과 유사하게, 시각적 디모나스트레이션 또는 목표 이미지를 사용하여 작업을 지정할 수 있도록 하는 것.
• 작업을 변경할 때 내부 작업 파rameter를 수정할 필요 없이 일반적인, 시각 기반의 보상 함수를 개발하는 것.
• 운동 템플릿과 HOG 특징 같은 시각적 표현이 작업 목표를 효과적으로 인코딩하고 성공적인 학습을 지원할 수 있는지 평가하는 것.
• 에이전트의 시각적 상태와 목표 표현이 원본이나 외관에서 다를 경우에도 에이전트가 원하는 행동을 학습할 수 있는지 보여주는 것.

제안 방법

• 논문은 감각 보상 함수(Perceptual Reward Functions, PRFs)를 제안하며, 보상은 에이전트의 현재 상태와 목표 표현 간의 시각적 유사도에 기반하여 원시 픽셀 입력을 사용해 계산된다.
• 운동 템플릿은 영상 시퀀스에서 시간적 운동 패턴을 인코딩하며, 강도가 높을수록 최근 운동을 나타내어 행동의 시공간 표현을 가능하게 한다.
• 운동 템플릿에서 방향성 기울기 히스토그램(Histogram of Oriented Gradients, HOG) 특징을 추출하여 에이전트 상태와 목표 상태를 비교하기 위한 압축되고 특징적인 표현을 만든다.
• 세 가지 작업 표현 방법이 도입된다: 시각적 보상 함수(Visual Reward Function, VRF), 관절점 기반 보상 함수(Keypoint-based Reward Function, KPRF), 인간이 인지하는 보상 함수(Human-perceived Reward Function, HPRF), 각각 다른 시각적 서술자 사용.
• 딥 Q 네트워크(Deep Q-Network, DQN)는 Q-값 함수를 근사하여 시각적 상태 입력을 사용한 값 기반 학습을 가능하게 한다.
• 보상은 에이전트의 운동 템플릿과 목표 템플릿의 HOG 특징 간 L2 거리의 역수로 계산되며, 원하는 행동과의 일치를 장려한다.

실험 결과

연구 질문

• RQ1 에이전트 상태와 목표 이미지 간의 시각적 유사도를 사용하여 강화학습 작업을 효과적으로 지정할 수 있는가? 이때 내부 도메인 파rameter에 의존하지 않는다.
• RQ2 운동 템플릿과 HOG 특징은 강화학습에서 작업 표현을 위한 효과적인 시각적 서술자로 기능할 수 있는가?
• RQ3 목표 표현이 에이전트의 관측과 다른 원본(예: 인간의 영상)에서 유도될 경우, 에이전트는 의미 있는 행동을 학습할 수 있는가?
• RQ4 학습 동안 에이전트의 행동과 목표 템플릿 간의 시각적 유사도는 어떻게 변화하며, 이는 작업 성공과 관련이 있는가?
• RQ5 PRFs는 같은 보상 메커니즘을 사용하여 얼굴 표정이나 물체 조작과 같은 다양한 작업과 표현 간에 일반화될 수 있는가?

주요 결과

• HPRF 에이전트는 인간이 디모나스트레이션한 목표 템플릿을 사용함에도 불구하고 기쁨이나 놀람과 같은 표정을 성공적으로 수행했으며, 입을 벌리거나 눈썹을 올리는 특징적인 행동을 모방했다.
• HPRF 목표 템플릿과 에이전트가 생성한 운동 템플릿 간의 거리가 시간이 지남에 따라 감소하여, 에이전트의 행동이 원하는 목표와 시각적으로 유사해졌음을 나타냈다.
• VRF와 KPRF 에이전트는 놀람과 기쁨 작업에서 높은 성공률를 기록했으며, HPRF 에이전트는 올바른 행동 패턴을 학습하는 데 유사한 성능를 보였다.
• 운동 템플릿 표현은 행동의 시공간 역학을 효과적으로 포착하여, 에이전트와 목표의 원본이나 외관이 다를 경우에도 신뢰할 수 있는 시각적 비교를 가능하게 했다.
• 운동 템플릿에 HOG 특징을 적용함으로써 시각적 유사도를 계산하는 데 있어 강건하고 일반화 가능한 방법을 제공했으며, 작업 특화 보상 설계 없이도 효과적인 학습을 지원했다.
• 결과적으로 PRFs는 내부 보상 파rameter를 수정하지 않고도 시각적 작업 기술만으로도 복잡한 행동을 학습하는 데 기여할 수 있음을 보여주었다.