[논문 리뷰] Evaluating Agents without Rewards

Brendon Matusch, Jimmy Ba외 1명|arXiv (Cornell University)|2020. 12. 21.

Reinforcement Learning in Robotics참고 문헌 44인용 수 10

한 줄 요약

이 논문은 온라인 학습을 피하기 위해 사전에 수집된 에이전트 행동 데이터셋을 분석함으로써 강화학습에서 내재적 동기 부여 목표를 후행 평가하는 프레임워크를 제안한다. 입력 엔트로피와 정보 수익은 작업 보상보다 인간 행동과 더 강하게 상관됨을 발견하여, 아타리와 마인크래프트와 같은 복잡한 환경에서 인간과 유사한 에이전트 행동을 위한 더 나은 대체 지표임을 시사한다.

ABSTRACT

Reinforcement learning has enabled agents to solve challenging tasks in unknown environments. However, manually crafting reward functions can be time consuming, expensive, and error prone to human error. Competing objectives have been proposed for agents to learn without external supervision, but it has been unclear how well they reflect task rewards or human behavior. To accelerate the development of intrinsic objectives, we retrospectively compute potential objectives on pre-collected datasets of agent behavior, rather than optimizing them online, and compare them by analyzing their correlations. We study input entropy, information gain, and empowerment across seven agents, three Atari games, and the 3D game Minecraft. We find that all three intrinsic objectives correlate more strongly with a human behavior similarity metric than with task reward. Moreover, input entropy and information gain correlate more strongly with human similarity than task reward does, suggesting the use of intrinsic objectives for designing agents that behave similarly to human players.

연구 동기 및 목표

• 내재적 동기 부여 목표 평가의 반복 속도가 느린 문제를 해결하기 위해, 특히 보상 함수가 흐물흐물하거나 이용할 수 없는 경우에 대비한다.
• 복잡한 환경에서 인간 행동과 작업 보상과 비교하여 내재적 목표(입력 엔트로피, 정보 수익, 능력)를 평가한다.
• 각 목표에 대해 에이전트를 재학습하지 않고도 빠르게 내재적 동기 부여 메커니즘을 비교할 수 있는 확장 가능한 후행 평가 방법을 개발한다.
• 아타리와 마인크래프트와 같은 환경에서 내재적 목표가 전통적인 작업 보상보다 인간과 유사한 행동을 더 잘 반영하는가를 판단한다.

제안 방법

• 저자들은 아타리 게임과 마인크래프트를 포함한 4개 환경에서 26개의 에이전트를 대상으로 총 20억 장 이상의 이미지를 포함하는 다양한 데이터셋을 수집하여 평가를 위한 고정 기준으로 활용한다.
• 이미지를 8×8 픽셀로 리샘플링하고 각 픽셀을 4개의 값으로 이산화하여 내재적 목표의 이산 확률 텐서를 효율적으로 계산할 수 있도록 전처리한다.
• 입력 엔트로피는 감각 입력의 희귀성을 측정하기 위해 학습된 밀도 모델을 사용하여 계산된다; 정보 수익은 환경 역학의 예측 개선도를 측정한다; 능력은 에이전트가 관측에 미치는 통제력을 측정한다.
• 모든 환경에 걸쳐 피어슨 상관계수를 사용하여 각 내재적 목표와 외부 지표인 작업 보상과 인간 유사도 간의 상관계수를 계산한다.
• 사전에 확보된 에이전트 트레이제터리에 기반한 후행 분석을 수행함으로써 각 목표에 대해 새로운 에이전트를 온라인으로 학습시킬 필요가 없어진다.
• 인간 유사도는 인간 플레이어의 트레이제터리와 비교하여 행동 일치도를 기반으로 한 메트릭을 사용해 정량화한다.

실험 결과

연구 질문

• RQ1 입력 엔트로피, 정보 수익, 능력과 같은 내재적 목표가 작업 보상보다 인간 행동과 더 강하게 상관되는가?
• RQ2 내재적 목표가 인간과 유사한 행동을 하는 에이전트를 설계하기 위해 작업 보상보다 더 나은 대체 지표가 될 수 있는가?
• RQ3 다양한 환경에서 서로 다른 내재적 목표 간의 행동 유사도 상관관계는 어떻게 되는가?
• RQ4 사전에 수집된 행동 데이터의 고정된 데이터셋을 사용하여 에이전트를 재학습하지 않고도 내재적 목표를 효율적으로 평가하고 비교하는 것이 가능한가?

주요 결과

• 모든 환경에서 입력 엔트로피와 정보 수익은 인간 유사도와 더 강하게 상관됨(r = 0.89 및 r = 0.79)으로서, 작업 보상보다 더 높은 상관관계(r = 0.67)를 보인다.
• 모든 세 내재적 목표가 인간 유사도와의 상관관계에서 작업 보상보다 높게 나타나, 작업 보상이 인간과 유사한 행동을 위한 신뢰할 수 있는 대체 지표가 아닐 수 있음을 시사한다.
• 입력 엔트로피와 정보 수익은 강한 상호 상관관계(r ≈ 0.7)를 보이며 유사한 행동 측면을 측정하는 것으로 나타나지만, 능력은 둘 모두와 상관관계가 낮아 다른 행동 성분을 캡처하는 것으로 보인다.
• 이미지 이산화 기반의 단순한 입력 엔트로피, 정보 수익, 능력의 구현이 인간 유사도와 강한 상관관계를 보이며, 탐색 및 평가에 유용함을 시사한다.
• 후행 평가 프레임워크를 통해 온라인 학습 없이도 내재적 목표를 효율적으로 비교할 수 있으며, 반복 시간을 크게 단축시킬 수 있다.
• 능력은 인간 유사도와 가장 낮은 상관관계(r = 0.66)를 보이며, 개방형 환경에서 인간 행동 패턴과의 일치도가 낮을 수 있음을 시사한다.