[논문 리뷰] Disentangling Controllable and Uncontrollable Factors of Variation by Interacting with the World

Yoshihide Sawada|arXiv (Cornell University)|2018. 04. 19.

Fault Detection and Control Systems참고 문헌 25인용 수 9

한 줄 요약

이 논문은 시각적 환경에서 제어 가능한 요소와 제어 불가능한 요소의 변동성을 분리하기 위해 강화학습 기반 방법을 제안한다. 두 개의 딥 네ural 네트워크(DNN)를 학습시키며, 하나는 제어 가능한 물체를, 다른 하나는 제어 불가능한 장애물을 표현하기 위해 사용한다. 제어 가능한 DNN를 더 단순한 환경에서 얻은 강건한 모델로 사전학습시킴으로써, 레이블이 없는 환경에서도 안정적인 분리가 가능해지며, 시뮬레이션에서 잠재 요소와 제어 동작 간의 높은 상관관계를 입증하였다.

ABSTRACT

We introduce a method to disentangle controllable and uncontrollable factors of variation by interacting with the world. Disentanglement leads to good representations and is important when applying deep neural networks (DNNs) in fields where explanations are required. This study attempts to improve an existing reinforcement learning (RL) approach to disentangle controllable and uncontrollable factors of variation, because the method lacks a mechanism to represent uncontrollable obstacles. To address this problem, we train two DNNs simultaneously: one that represents the controllable object and another that represents uncontrollable obstacles. For stable training, we applied a pretraining approach using a model robust against uncontrollable obstacles. Simulation experiments demonstrate that the proposed model can disentangle independently controllable and uncontrollable factors without annotated data.

연구 동기 및 목표

• 기존의 강화학습 기반 분리 방법에서 제어 불가능한 장애물을 표현할 수 있는 메커니즘이 부족한 점을 보완하기 위해.
• 제어 가능한 요소와 제어 불가능한 요소의 변동성을 분리함으로써 딥 네럴 네트워크의 표현 학습을 향상시키기 위해.
• 수동적인 레이블링이 필요 없이 안정적인 표현 학습을 달성하기 위해.
• 더 단순한 환경에서의 사전학습이 복잡한 장애물이 존재하는 환경에서의 분리 성능 향상에 기여하는지 조사하기 위해.
• 외부 보상이 있는 강화학습 환경에서의 성능 평가를 통해, 후속 작업에서의 유용성을 입증하기 위해.

제안 방법

• 제어 가능한 물체를 표현하는 DNN와 제어 불가능한 장애물을 표현하는 DNN를 별도로 학습시키며, 모두 강화학습을 통해 학습한다.
• Thomas 등에 영감을 얻은 자기지도 전략을 채택하여, 최상위 은닉층이 개별 제어 동작에 독립적으로 반응하도록 제약을 둔다.
• 장애물이 없는 더 단순한 환경에서 학습된 모델을 사용해 제어 가능한 물체의 DNN를 사전학습함으로써 강건성과 안정성을 향상시킨다.
• 사전학습된 파라미터를 제어 가능한 DNN의 초기화로 사용함으로써, 뉴런이 제어 동작에 민감하고 장애물의 영향을 덜 받도록 보장한다.
• 두 DNN의 잠재 특징을 LSTM과 완전 연결 네트워크에 통합하여, 딥 순환 Q-네트워크(DRQN) 아키텍처에서 Q-값 예측을 수행한다.
• 고정된 학습률과 할인 요소를 사용한 확률적 경사 하강법를 적용하며, 학습 중에 인코더를 冻결함으로써 분리의 영향을 분리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 수동적인 레이블링 없이 강화학습 기반 방법이 제어 가능한 요소와 제어 불가능한 요소의 변동성을 분리할 수 있는가?
• RQ2 더 단순한 환경에서 제어 가능한 DNN를 사전학습하면, 장애물이 존재하는 복잡한 환경에서의 분리 안정성 향상에 기여하는가?
• RQ3 제어 가능한 요소와 제어 불가능한 요소의 잠재 표현이 실제 제어 동작과 장애물 위치와 얼마나 상관이 있는가?
• RQ4 분리된 표현이 외부 보상이 있는 후속 강화학습 작업을 지원할 수 있는가?
• RQ5 강건한 사전학습 메커니즘이 분리된 특징의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 레이블이 전혀 없는 시뮬레이션 환경에서도 제어 가능한 요소와 제어 불가능한 요소의 변동성을 성공적으로 분리하였다.
• 더 단순한 환경에서 학습된 모델을 사용해 제어 가능한 DNN를 사전학습함으로써, 학습의 안정성과 분리 성능 향상이 크게 향상되었다.
• 상황 1에서, 잠재 요소와 제어 동작 간 상관계수는 x축 기준 최대 0.904, y축 기준 0.934에 도달하여 강력한 분리가 이루어졌음을 시사한다.
• 상황 2에서는 x축 기준 -0.846, y축 기준 -0.897의 상관계수를 기록하여, 복잡한 장애물 구성 조건에서도 견고한 분리가 이루어졌음을 입증하였다.
• 다른 환경에서의 사전학습을 사용할 경우 재구성 오차가 증가하여, 동일한 환경에서의 사전학습이 더 나은 특징 품질을 제공함을 시사한다.
• VAE 기반 베이스라인은 뿌연 것 같고 현실감이 없는 샘플을 생성하여, 제안된 강화학습 기반 분리 방법이 복잡한 시각적 데이터에 유리함을 입증한다.