[논문 리뷰] Cross-Domain Perceptual Reward Functions

Ashley D. Edwards, Srijan Sood외 1명|arXiv (Cornell University)|2017. 05. 25.

Neural and Behavioral Psychology Studies참고 문헌 40인용 수 7

한 줄 요약

이 논문은 심층학습 기반 방법인 Cross-Domain Perceptual Reward(이하 CDPR) 기능을 소개한다. 이는 다른 환경의 목표 이미지와 현재 상태를 일치시킴으로써 강화학습 에이전트가 작업을 학습할 수 있도록 한다. 에이전트 상태와 교차 도메인 목표 이미지 간의 시각적 유사도를 측정하도록 신경망을 훈련시킴으로써 CDPR는 수작업으로 설계한 보상 함수 없이도 정확하고 일반화 가능한 보상 신호를 제공한다. 이는 미로 탐색 및 음악 생성 작업 모두에서 높은 작업 성공률을 달성한다.

ABSTRACT

In reinforcement learning, we often define goals by specifying rewards within desirable states. One problem with this approach is that we typically need to redefine the rewards each time the goal changes, which often requires some understanding of the solution in the agents environment. When humans are learning to complete tasks, we regularly utilize alternative sources that guide our understanding of the problem. Such task representations allow one to specify goals on their own terms, thus providing specifications that can be appropriately interpreted across various environments. This motivates our own work, in which we represent goals in environments that are different from the agents. We introduce Cross-Domain Perceptual Reward (CDPR) functions, learned rewards that represent the visual similarity between an agents state and a cross-domain goal image. We report results for learning the CDPRs with a deep neural network and using them to solve two tasks with deep reinforcement learning.

연구 동기 및 목표

• 각 새로운 작업에 대해 환경에 특화된 보상 함수를 수작업으로 설계하는 데 도전하는 데에 대비하기 위해.
• 에이전트의 본래 환경에 의존하지 않고, 이미지, 다이어그램, 또는 음성 설명과 같은 보조 환경에서 목표를 지정할 수 있도록 하기 위해.
• 재훈련 없이도 다양한 목표 구성에 적용 가능한 일반적이고 이식 가능한 보상 함수를 개발하기 위해.
• 교차 도메인 목표와 에이전트 상태 간의 학습된 시각적 유사성이 심층 강화학습을 효과적으로 이끄는 데 적합한지 평가하기 위해.
• CDPR가 새로운 목표에 대해 일반화되고 복잡한 작업에서 성공적인 정책 학습을 지원하는지 보여주기 위해.

제안 방법

• 에이전트 상태 이미지와 교차 도메인 목표 이미지 간의 거리가 그들의 시각적 유사도를 반영하도록, 시각적 유사도를 측정하는 심층 신경망을 훈련시켜, 인식 임베딩 공간을 학습한다.
• 시ames 네트워크 아키텍처를 사용하여 대비 학습을 적용함으로써 CDPR 함수를 최적화하며, 일치하는 상태-목표 쌍 간의 거리는 최소화하고, 일치하지 않는 쌍 간의 거리는 최대화한다.
• CDPR를 학습된 보상 함수로 정의한다: r(s, g) = -||f(s) - f(g)||₂, 여기서 f는 상태 s와 목표 g의 특징 인코더이다.
• CDPR를 심층 강화학습 알고리즘(SAC 또는 PPO 등)의 보상 신호로 사용하여, 격자형 미로 환경과 음악 생성 작업과 같은 환경에서 에이전트를 훈련시킨다.
• 실제 세계의 목표 이미지(예: 손형, 음성 명령, 악보)와 합성 목표 표현을 모두 교차 도메인 입력으로 사용한다.
• 다양한 지표를 사용하여 CDPR를 평가한다: 목표 검색 정확도(GRA), 보상 일관성, 그리고 새로운 목표 인스턴스에 대한 후행 RL 성능.

실험 결과

연구 질문

• RQ1 에이전트 상태와 교차 도메인 목표 이미지 간의 시각적 유사성이 강화학습에서 일반적인 보상 함수로 효과적으로 학습될 수 있는가?
• RQ2 CDPR는 재훈련 없이도 새로운, 알려지지 않은 목표 구성에 얼마나 잘 일반화되는가?
• RQ3 작업 성공률 및 정책 품질 측면에서 CDPR는 수작업으로 설계한 보상 함수와 비교해 어떤가?
• RQ4 도메인 간 시각적 또는 의미적 격차가 클 경우 CDPR의 한계는 무엇인가?
• RQ5 CDPR는 희박한 보상이 존재하는 복잡한 순차적 작업, 예를 들어 음악 생성 및 탐색 작업에서 학습을 지원할 수 있는가?

주요 결과

• CDPR 접근법은 손형과 음성 명령 목표 표현 모두에서 목표 검색 정확도(GRA)가 1.0에 도달하여, 에이전트 상태와 교차 도메인 목표 간의 강력한 시각적 일치를 보였다.
• 미로 탐색 작업에서 음성 명령을 사용한 CDPR는 파란 방과 초록 방 모두에 도달하도록 에이전트를 성공적으로 훈련시켰다. 반면 손형 CDPR는 유사한 중간 보상으로 인해 한 목표에서 실패했다.
• 음악 생성 작업에서 기타 악기와 악보 목표 표현 모두 첫 번째 곡에서 최대 75%의 정확도를 달성했지만, 더 복잡한 두 번째 곡에서는 성능이 떨어져, 작업 복잡도에 민감함을 보였다.
• 손형 목표를 사용한 CDPR는 높은 GRA를 보였지만 RL 성능은 최적화되지 않았다. 이는 GRA만으로는 보상 함수 평가에 충분하지 않음을 시사하며, 중간 보상이 정책을 잘못 이끌 수 있음을 보여준다.
• 특징 인코딩 네트워크는 상태가 목표와 일치할 경우에만 비음수 보상을 생성하여, 양의 피드백 루프를 방지하고 안정적인 학습을 보장했다.
• 결과적으로 CDPR는 여러 목표 인스턴스에 대해 수정 없이 사용 가능했으며, 이는 교차 도메인 목표 지정에서의 일반화 능력을 확인한다.