[논문 리뷰] Disentangling the independently controllable factors of variation by interacting with the world

Valentin Thomas, Emmanuel Bengio외 7명|arXiv (Cornell University)|2018. 02. 26.

Neural Networks and Applications참고 문헌 14인용 수 45

한 줄 요약

본 논문은 외부 보상 없이 잠재 변수에 연결된 학습된 정책을 통해 환경과 상호 작용함으로써 서로 독립적으로 제어 가능한 변동 요인을 발견하고 해체(disentangle)할 수 있게 하는 선택성(selectivity) 목표를 제시한다.

ABSTRACT

It has been postulated that a good representation is one that disentangles the underlying explanatory factors of variation. However, it remains an open question what kind of training framework could potentially achieve that. Whereas most previous work focuses on the static setting (e.g., with images), we postulate that some of the causal factors could be discovered if the learner is allowed to interact with its environment. The agent can experiment with different actions and observe their effects. More specifically, we hypothesize that some of these factors correspond to aspects of the environment which are independently controllable, i.e., that there exists a policy and a learnable feature for each such aspect of the environment, such that this policy can yield changes in that feature with minimal changes to other features that explain the statistical variations in the observed data. We propose a specific objective function to find such factors, and verify experimentally that it can indeed disentangle independently controllable aspects of the environment without any extrinsic reward signal.

연구 동기 및 목표

• 강화 학습(RL) 및 RL 기반 모델링을 위한 변동의 근본 요인들을 해체하는 표현의 필요성을 동기 부여한다.
• 상호 작용 기반의 비지도 목표를 제안하여 독립적으로 제어 가능한 환경 요인을 식별한다.
• 환경의 각 요인이 제어 가능한 측면에 대응하는 잠재 공간의 학습을 가능하게 한다.
• 외부 보상 없이 잠재 공간에서의 모델 기반 예측을 이 방법이 뒷받침할 수 있음을 시연한다.

제안 방법

• 제어 가능한 요인 φ를 h와 잡음 z로부터의 임베딩으로 Phi(h,z)로 정의하고, 각 φ를 해당 변화를 실현하는 것을 목표로 하는 정책 pi_φ에 연결한다.
• 관찰된 상태 변화(h' - h)와 요인 φ의 정렬에 보상을 주는 선택성 목적 S(h, φ)를 도입한다.
• 변분 표현을 사용하여 잠재 공간의 인과관계에 목적을 고정하면서 선택성을 상호 정보량 I(φ; h' | h)의 하한에 연결한다.
• 관찰값을 잠재 상태 h로 매핑하는 인코더 f, φ를 위한 생성기 Phi(h,z), 그리고 선택성 기반 보상과 선택적 자동 인코더 손실을 포함한 정책 기울기(policy gradient)를 사용하여 정책 pi_φ를 학습한다.
• 정확한 단기 예측을 촉진하기 위해 잠재 공간에서 모델 기반 손실(L_MB = ||h_{t+3} - T_theta(h_t, φ)||^2)을 선택적으로 포함한다.

실험 결과

연구 질문

• RQ1 세계와의 상호 작용이 독립적으로 제어 가능한 변동 요인들을 발견하는 데 도움이 될 수 있는가?
• RQ2 외부 보상 없이 선택성 기반 목표가 잠재 표현의 해체를 어떻게 촉진하는가?
• RQ3 학습된 잠재 요인들이 미래 상태의 잠재 공간 기반 예측을 얼마나 지원할 수 있는가?

주요 결과

• 이 방법은 MazeBase 환경에서 에이전트의 ±x 및 ±y 위치에 해당하는 네 가지 방향 요인들을 해체한다.
• 잠재 표현은 재구성 손실과 선택성 손실을 모두 이용해 학습한 후 f(s)로부터 회복 가능한 공간 좌표(에이전트의 x와 y)를 인코딩한다.
• 이 방법은 다단계 잠재 공간 예측을 가능하게 하여 잠재 공간 모델이 미래의 잠재 상태를 예측하고 관측 가능한 공간으로 다시 해독될 수 있음을 보여준다.
• 이 프레임워크는 잠재 공간에서 계획 및 정책 추론이 가능함을 시연하며 축소된 공간에서의 더 쉬운 최적화 가능성을 보여준다.
• 저자들은 독립성 선행(prior)이 엄격하고 최적화가 어려울 수 있으며, 여러 하이퍼파라미터와 학습 불안정성을 신중하게 조정해야 한다고 보고한다.