[논문 리뷰] The Thing That We Tried Didn't Work Very Well : Deictic Representation in Reinforcement Learning

Sarah Finney, Natalia H. Gardiol외 2명|arXiv (Cornell University)|2012. 12. 12.

Reinforcement Learning in Robotics참고 문헌 18인용 수 27

한 줄 요약

이 논문은 블록 월드 환경에서 행동과 상태가 두드러진 물체에 상대적으로 정의되는 지시적 표현(deictic representations)을 강화학습에서 연구한다. 이론적으로 일반화 가능성은 높지만, 저자들은 경험적으로 지시적 표현이 난잡한 문장 표현에 비해 학습 성능이 열 劣하다는 것을 발견하여, 물체 중심 도메인에서의 효용성에 대한 기대에 도전한다.

ABSTRACT

Most reinforcement learning methods operate on propositional representations of the world state. Such representations are often intractably large and generalize poorly. Using a deictic representation is believed to be a viable alternative: they promise generalization while allowing the use of existing reinforcement-learning methods. Yet, there are few experiments on learning with deictic representations reported in the literature. In this paper we explore the effectiveness of two forms of deictic representation and a naïve propositional representation in a simple blocks-world domain. We find, empirically, that the deictic representations actually worsen learning performance. We conclude with a discussion of possible causes of these results and strategies for more effective learning in domains with objects.

연구 동기 및 목표

• 지시적 표현이 물체 중심 환경에서 일반화 능력과 학습 효율성을 향상시키는지 평가하기 위해.
• 통제된 블록 월드 도메인에서 지시적 표현과 난잡한 문장 표현 간의 비교를 수행하기 위해.
• 실제 적용에서 지시적 표현의 성능이 열 劣한 이유를 규명하기 위해.
• 이산적이고 식별 가능한 물체를 가진 환경에서 강화학습의 표현 설계에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 저자들은 두 가지 형태의 지시적 표현을 구현한다: 하나는 물체 인덱스 기반이고, 다른 하나는 두드러진 물체에 대한 상대적 공간 관계 기반이다.
• 문장 표현은 전체 상태를 고정된 원자적 사실의 집합(예: '블록 A가 블록 B 위에 있다')으로 인코딩한다.
• 모든 세 가지 표현에 대해 표준 시간차분 학습 알고리즘을 사용하여 강화학습을 적용한다.
• 실험은 다양한 작업 복잡도와 물체 수를 가진 단순한 블록 월드 환경에서 수행된다.
• 학습 속도, 샘플 효율성, 최종 정책 품질을 다수의 랜덤 시드 기반으로 측정하여 성능을 평가한다.
• 표현 간 공정한 비교를 위해 모든 표현에 동일한 하이퍼파라미터 세트를 사용한다.

실험 결과

연구 질문

• RQ1 지시적 표현을 사용할 경우, 블록 월드 도메인에서 문장 표현에 비해 더 빠르거나 샘플 효율적으로 학습되는가?
• RQ2 지시적 표현의 서로 다른 형태(인덱스 기반 vs. 공간 기반)는 학습 성능 측면에서 어떻게 비교되는가?
• RQ3 이론적 기대와는 달리 이 환경에서 지시적 표현이 효과적으로 일반화되지 못하는 이유는 무엇인가?
• RQ4 표현 방식의 선택이 학습 과정의 안정성과 수렴성에 어느 정도 영향을 미치는가?

주요 결과

• 지시적 표현은 난잡한 문장 표현에 비해 유의미하게 열 劣한 학습 성능을 보였다.
• 인덱스 기반 지시적 표현은 공간 기반 변종보다 더 열 劣했지만, 둘 다 문장 기반 기준선에 비해 성능이 열 劣했다.
• 지시적 표현의 학습 곡선은 수렴 속도가 느리고 런 간 변동성이 높았다.
• 저자들은 물체 재인덱싱 또는 중심성의 변화로 인해 지시적 표현이 부가적인 상태 모호성을 유발하는 것을 관찰했다.
• 실패 원인은 표현이 물체 순서와 동적 중심성에 민감하여 정책의 일반화를 방해했기 때문이라고 추정했다.
• 결과적으로 지시적 표현은 물체 집합이 동적으로 변화하는 도메인에서는 강력한 물체 추적 또는 주의 메커니즘과 함께 사용되지 않는 한 일반화 전략으로 신뢰할 수 없을 수 있음을 시사한다.