[논문 리뷰] Independently Controllable Features

Emmanuel Bengio, Valentin Thomas외 3명|arXiv (Cornell University)|2017. 03. 22.

Reinforcement Learning in Robotics참고 문헌 14인용 수 38

한 줄 요약

이 논문은 잠재 표현을 한 번에 하나의 특징만 영향을 주는 정책과 연결함으로써 상호작용 환경에서 독립적으로 제어 가능한 특징을 학습하는 방법을 제안한다. 정책 선택성 손실을 갖는 오토인코더를 사용하여, 제어 가능한 환경적 요소와 연결된 분리된, 해석 가능한 특징을 발견한다. 이는 명확한 특징-정책 일치를 보이는 단순한 격자 세계 환경에서 성공을 거두었다.

ABSTRACT

Finding features that disentangle the different causes of variation in real data is a difficult task, that has nonetheless received considerable attention in static domains like natural images. Interactive environments, in which an agent can deliberately take actions, offer an opportunity to tackle this task better, because the agent can experiment with different actions and observe their effects. We introduce the idea that in interactive environments, latent factors that control the variation in observed data can be identified by figuring out what the agent can control. We propose a naive method to find factors that explain or measure the effect of the actions of a learner, and test it in illustrative experiments.

연구 동기 및 목표

• 에이전트가 세계의 일부를 능동적으로 제어할 수 있는 상호작용 환경에서 분리된, 해석 가능한 표현을 학습하는 데 도전하는 것.
• 환경 내 개체의 독립적으로 제어 가능한 속성에 대응하는 변동 인자들을 식별하는 것.
• 특정 정책에 의해만 영향을 받는 특징을 장려하는 학습 목표를 개발하는 것.
• 제어 가능성의 지표가 강화 학습에서 탐색을 어떻게 이끌 수 있는지 탐색하는 것.
• 동적이고 확률적인 장면에서 개체의 특정 제어 가능한 속성과 연결된 특징을 통해 표현 학습의 바인딩 문제를 해결하는 것.

제안 방법

• 관측치를 재구성하기 위해 공유 인코더 $f$와 디코더 $g$를 갖는 오토인코더를 훈련하여, 차원 $n$의 잠재 표현 $h = f(x)$를 생성한다.
• 각 정책 $\pi_k$가 오직 $k$-번째 특징 $f_k(x)$에만 영향을 주고 다른 특징에는 영향을 주지 않도록, $n$개의 별도 정책 $\pi_k$를 학습한다.
• 상태 $s$에서 행동 $a$가 오직 특징 $k$만 변화시키는 정도를 측정하기 위해 선택성 지표 $\text{sel}(s,a,k)$를 정의한다. 이는 행동 분포 간의 KL 발산을 사용한다.
• 특정 행동 $a$가 특징 $k$에만 영향을 주도록 정책 $\pi_k$를 최적화하며, 손실 $-\pi_k \log \text{sel}_k$를 사용하여 집중적인 제어를 장려한다.
• 정책 선택성 손실이 잠재 공간에 정규화 역할을 하도록, 오토인코더와 정책을 엔드 투 엔드 백프로파게이션을 통해 공동으로 훈련한다.
• 탐색 알고리즘(알고리즘 1)을 사용하여 반복적으로 정책 선택과 특징 반응을 향상시키며, 각 특징이 유일한 행동에 반응하도록 보장한다.

실험 결과

연구 질문

• RQ1 잠재 표현을 한 번에 하나의 특징만 영향을 주는 정책와 연결함으로써 상호작용 환경에서 독립적으로 제어 가능한 특징을 발견할 수 있는가?
• RQ2 정책 선택성 강제 조건이 학습된 표현의 분리도와 해석 가능성에 어떤 영향을 미치는가?
• RQ3 변동하는 개체 수와 확률적 동역학을 가진 환경으로 이 방법을 확장할 때의 과제는 무엇인가?
• RQ4 특징이 제어 가능한 성질과 연결되어 있을 때, 어떤 속성이 어떤 개체에 속하는지 식별하는 바인딩 문제를 어떻게 해결할 수 있는가?
• RQ5 제어 가능성은 강화 학습에서 탐색 신호로 기능할 수 있는가? 새로운 또는 알려지지 않은 개체와 상호작용하도록 에이전트를 이끌 수 있는가?

주요 결과

• 이 방법은 각 특징이 개별 객체 속성(예: 위치 또는 색상)에 대응하는 단순한 격자 세계 환경에서 독립적으로 제어 가능한 특징을 성공적으로 학습하였다.
• 각 정책 $\pi_k$는 고유한 행동으로 수렴하여 오직 해당 특징 $f_k$에만 영향을 주며, 높은 선택성 점수는 다른 특징에 대한 간섭이 최소임을 나타낸다.
• 중복된 행동(예: 한 객체를 아래로 움직이는 데 두 개의 행동)이 존재할 경우, 정책는 이 중복성을 활용하여 성능 저하 없이 등가 행동 중 하나를 선택한다.
• 오토인코더의 잠재 공간은 각 특징 $f_k(s)$가 오직 특정 행동에 대해 최대 반응을 보이도록 형성되어 있으며, 이는 표현이 제어 가능한 요소를 분리함을 보여준다.
• 오토인코더와 정책 선택성의 공동 최적화는 특징이 개체의 의미 있는 제어 가능한 성질과 대응하는 분리된 표현을 이끈다.
• 이 방법은 제어 가능성을 내재된 편향으로 삽입함으로써 표현 학습을 정규화할 실용적인 메커니즘을 제공하며, 명시적 지도 없이도 해석 가능성을 향상시킨다.