[논문 리뷰] Intrinsically Motivated Acquisition of Modular Slow Features for Humanoids in Continuous and Non-Stationary Environments

Varun Raj Kompella, Laurenz Wiskott|arXiv (Cornell University)|2017. 01. 17.

Reinforcement Learning in Robotics참고 문헌 34인용 수 3

한 줄 요약

이 논문은 연속적이고 비정상적인 환경에서 고차원 시각 입력으로부터 모듈러하고 느리게 변화하는 특징을 자율적으로 탐지할 수 있도록 돕는 내재적 동기 부여 온라인 학습 시스템인 CD-MISFA 2.0을 제안한다. 인공적 호기심과 점진적 느린 특징 분석을 융합함으로써, 다음으로 학습하기 쉬운 감각 스트림을 동적으로 선택하고, 적응형 추상화 게이팅을 통해 학습을 안정화시키며, 사전 레이블링이나 이산 상태 공간 없이도 다수의 작업 무관 추상화를 안정적으로 순차적으로 습득할 수 있도록 한다.

ABSTRACT

A compact information-rich representation of the environment, also called a feature abstraction, can simplify a robot's task of mapping its raw sensory inputs to useful action sequences. However, in environments that are non-stationary and only partially observable, a single abstraction is probably not sufficient to encode most variations. Therefore, learning multiple sets of spatially or temporally local, modular abstractions of the inputs would be beneficial. How can a robot learn these local abstractions without a teacher? More specifically, how can it decide from where and when to start learning a new abstraction? A recently proposed algorithm called Curious Dr. MISFA addresses this problem. The algorithm is based on two underlying learning principles called artificial curiosity and slowness. The former is used to make the robot self-motivated to explore by rewarding itself whenever it makes progress learning an abstraction; the later is used to update the abstraction by extracting slowly varying components from raw sensory inputs. Curious Dr. MISFA's application is, however, limited to discrete domains constrained by a pre-defined state space and has design limitations that make it unstable in certain situations. This paper presents a significant improvement that is applicable to continuous environments, is computationally less expensive, simpler to use with fewer hyper parameters, and stable in certain non-stationary environments. We demonstrate the efficacy and stability of our method in a vision-based robot simulator.

연구 동기 및 목표

• 지속적이고 비정상적이며 부분적으로 관측 가능한 환경에서 다수의 공간적 또는 시간적으로 국한된, 작업에 무관한 특징 추상화를 학습하는 데 도전하는 것.
• 이전 방법들인 Curious Dr. MISFA 1.0과 같은 제한점을 극복하는 것 — 이는 이산 상태 공간이 필요로 하며 동적 환경에서 불안정성을 겪는다.
• 외부 보상 없이도 내재적 호기심을 통해 자율적 탐색을 유도함으로써, 보상 없이도 다음으로 학습하기 쉬운 정규성을 탐지하도록 유도하는 것.
• 계산적으로 효율적이고 안정적이며 하이퍼파라미터가 적은 시스템을 개발하여 원시 이미지 스트림으로부터 온라인으로 추상화를 학습하는 것.

제안 방법

• 에이전트는 고차원 감각 입력에서 새로운 느리게 변화하는 특징을 학습하는 데의 진전을 보상으로 삼음으로써 인공적 호기심을 활용해 자율적 탐색을 동기화한다.
• 감각 데이터의 느리게 변화하는 성분을 포착하는 시간적 추상화를 추출하기 위해 점진적 느린 특징 분석(IncSFA)을 적용하며, 이는 기저 원인이 원시 입력보다 더 느리게 변화한다는 원리에 기반한다.
• 추상화 출력의 변화율을 모니터링함으로써 이미 습득된 추상화의 재학습을 방지하는 게이팅 메커니즘이 존재한다; 변화율이 임계값 이하로 떨어지면 추상화가 동결된다.
• 학습 진전도가 높고 이전 추상화가 낮은 감각 스트림을 우선순위로 정렬하는 호기심 기반 탐색 정책에 따라 시스템은 다음으로 탐색할 감각 스트림을 동적으로 선택한다.
• 다양한 시각적 시야를 확보하기 위해 연속적인 행동 공간(예: 머리 회전)을 사용하여 다수의 고차원 관측 스트림을 생성한다.
• 하이퍼파라미터를 최소화함: 오직 ν, τ, σ, δ만 조정되며, 사전 정의된 메타클래스나 이산 레이블 없이도 시험 간 안정성이 입증된다.

실험 결과

연구 질문

• RQ1 외부 감독이나 사전 정의된 상태 없이도 연속적이고 비정상적인 환경에서 원시 시각 입력으로부터 다수의 모듈러하고 작업에 무관한 특징 추상화를 자율적으로 탐지할 수 있는가?
• RQ2 내재적 호기심과 점진적 느린 특징 분석을 효과적으로 융합하여 동적 감각 스트림에서 순차적이고 안정적인 추상화 학습을 이끌 수 있는가?
• RQ3 감각 입력이 i.i.d.가 아니며 부분적으로 관측 가능하고 시간에 따라 변화하는 환경 요인의 영향을 받을 경우, 신뢰할 수 있는 추상화 탐지 메커니즘은 무엇인가?
• RQ4 중복되거나 경쟁적인 감각 스트림으로부터 다수의 추상화를 학습할 때, 재학습을 방지하고 안정성을 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• 알고리즘이 두 가지 다른 추상화를 성공적으로 학습함: 하나는 객체-1의 y좌표를 표현하는 것으로, 안정된 두 위치(0.4 및 0.6)를 가짐; 다른 하나는 객체-3의 느리게 변화하는 y좌표를 표현함; 모두 원시 128x48 회색조 이미지에서 유도됨.
• 모든 10회의 실험 시험에서 시스템은 최적 정책으로 수렴하였으며, 학습 난이도 지표에 따라 먼저 더 쉬운 추상화(객체-1)를 학습하고 나서 더 복잡한 추상화(객체-3)를 학습함.
• 첫 번째 추상화 φ₁은 객체-1의 이중 위치 상태를 신뢰성 있게 표현함; 마지막 200개 출력에 대해 다항식 피팅이 실제 y좌표와 밀접하게 일치함.
• 두 번째 추상화 φ₂는 객체-3의 느리게 변화하는 y좌표를 동일하게 포착함으로써, 복잡한 시각적 동역학에서 의미 있는 저차원 표현을 추출할 수 있음을 입증함.
• 세 번째 스트림(x₂)은 균일하게 랜덤한 동역학을 보였기 때문에 시스템은 이를 학습하려고 尝시지 않음 — 이는 알고리즘이 학습이 불가능한 입력을 정확히 식별하고 무익한 탐색을 피했음을 확인함.
• 적응형 추상화 게이팅 메커니즘이 이미 습득된 특징의 재학습을 성공적으로 방지함 — |ḋη|가 δ 이하로 떨어지고 나서 탐색 정책이 재설정됨을 통해 이를 입증함.