[논문 리뷰] Symmetry-Based Disentangled Representation Learning requires Interaction with Environments

Hugo Caselles-Dupré, Garcia-Ortiz, Michael외 1명|City Research Online (City University London)|2019. 03. 30.

Advanced Graph Neural Networks참고 문헌 17인용 수 15

한 줄 요약

이 논문은 대칭 기반 분리 표현 학습(Symmetry-Based Disentangled Representation Learning, SBDRL)이 정적 관찰만으로는 불가능하며, 환경과의 상호작용이 필수적이라고 주장한다. 대칭을 발견하고 표현하기 위해서는 환경과의 상호작용이 필요하다. 본 논문은 두 가지 상호작용 기반 방법—대칭을 별도로 학습하거나 표현과 함께 공동으로 학습하는 방법—을 제안하고, 실험적으로 LSB- 및 SB-분리 표현이 데이터나 모델 용량 제약 조건 하에서도 하류의 역모델 학습 성능을 크게 향상시킴을 입증한다.

ABSTRACT

Finding a generally accepted formal definition of a disentangled representation in the context of an agent behaving in an environment is an important challenge towards the construction of data-efficient autonomous agents. Higgins et al. recently proposed Symmetry-Based Disentangled Representation Learning, a definition based on a characterization of symmetries in the environment using group theory. We build on their work and make observations, theoretical and empirical, that lead us to argue that Symmetry-Based Disentangled Representation Learning cannot only be based on static observations: agents should interact with the environment to discover its symmetries. Our experiments can be reproduced in Colab and the code is available on GitHub.

연구 동기 및 목표

• 대칭 기반 분리 표현 학습(SBDRL)이 정적 관찰만으로는 달성될 수 없으며, 환경과의 상호작용이 반드시 필요하다는 것을 입증하는 것.
• 환경 전이를 활용하여 선형 및 비선형 SB-분리 표현을 학습하는 실용적인 두 가지 접근법을 수학적으로 정의하고 실험적으로 검증하는 것.
• 데이터 및 모델 용량 제약 조건 하에서 하류 작업, 특히 역모델 학습에 (L)SB-분리 표현의 유용성을 평가하는 것.
• 이론적으로도 실험적으로도 상호작용이 SBDRL에 필수적임을 입증하는 것. 이는 주어진 2차원 순환 경계를 가진 제어된 환경에서 이론적 증명과 실험적 검증을 통해 이루어진다.
• Colab과 GitHub를 통해 오픈소스 구현과 재현 가능한 실험을 제공하여 향후 분리 표현 학습 분야의 연구를 지원하는 것.

제안 방법

• 정리 1을 통해 이론적 증명을 제시한다. 본 연구에서 다루는 환경에서 LSB-분리 표현은 대칭을 선형으로 표현해야 하므로, 세계 상태가 2차원으로 기술될 수 있음에도 불구하고 최소 4차원이 필요하다고 증명한다.
• 실용적인 두 가지 방법을 도입한다: (1) 전진-VAE를 활용한 표현과 대칭 효과의 별도 학습, (2) CCI-VAE 변형을 통한 공동 학습. 양 방법 모두 전이 데이터 $(o_t, a_t, o_{t+1})$ 를 기반으로 학습된다.
• 군 이론을 활용하여 대칭을 특정 세계 성질을 변화시키지 않는 변환으로 엄밀히 정의하고, 이와 같은 정의를 이동 가능한 에이전트가 있는 2차원 순환 격자 환경에 적용한다.
• 10,000개의 전이 데이터를 사용하여 하류의 역모델 작업에서 표현 성능을 실증적으로 평가한다. 표현 공간 내 상태 전이에 대해 랜덤 포레스트 분류기 모델을 훈련시킨다.
• 네 가지 모델을 비교한다: LSB-분리 표현(차원 4), SB-분리 표현(차원 2), 비-분리 표현(차원 2), 제어용 SB-분리 표현(차원 4). 10겹 교차검증을 사용한다.
• 형식적 정확성과 재현 가능성을 확보하기 위해 단순하고 분석적으로 정의된 환경을 사용한다. 코드와 Colab 노트북을 공개한다.

실험 결과

연구 질문

• RQ1 정적 관찰만으로도 대칭 기반 분리 표현 학습(SBDRL)을 달성할 수 있는가, 아니면 환경과의 상호작용이 필수적인가?
• RQ2 대칭적이고 순환적인 2차원 환경에서 선형 SB-분리 표현을 위해 필요한 최소 차원 수는 얼마이며, 이는 왜 직관에 어긋나는가?
• RQ3 환경 전이를 활용하여 (L)SB-분리 표현을 학습하는 실용적인 방법을 설계할 수 있는가?
• RQ4 LSB-분리 표현의 사용이 하류 작업, 예를 들어 역모델 학습 성능에 어떤 영향을 미치는가?
• RQ5 데이터나 모델 용량 제약 조건 하에서, LSB 또는 SB-분리 표현 중 어떤 것이 더 강한 인도적 편향을 제공하여 효율적인 학습에 유리한가?

주요 결과

• 이론적 분석을 통해 본 연구에서 다룬 2차원 순환 환경에서 선형 SB-분리 표현은 대칭을 선형으로 표현해야 하므로 최소 4차원이 필요하다고 증명한다. 이는 세계 상태가 2차원이지만 오히려 더 높은 차원이 필요함을 의미한다.
• 실험 결과, LSB-분리 표현과 SB-분리 표현 모두 비-분리 기반 모델보다 역모델 학습 성능에서 뛰어나며, 특히 데이터나 분류기 용량이 제한된 조건에서 두드러진다.
• 고정된 고용량 분류기 조건 하에서 LSB-분리 표현은 가장 높은 최종 정확도를 달성하여 강력한 인도적 편향 하에서 우수한 일반화 성능을 보임을 시사한다.
• 고정된 대규모 데이터셋이지만 분류기 용량이 제한된 조건에서는 SB-분리 표현이 가장 뛰어난 성능을 보이며, 이는 데이터 효율성이 높고 소규모 데이터로부터 더 쉽게 학습 가능하다는 것을 의미한다.
• 정적 관찰 $o_t$ 가 아닌 전이 $(o_t, a_t, o_{t+1})$ 를 사용하는 것이 대칭을 학습하는 데 필수적임을 입증한다. 이는 SBDRL에서 상호작용이 필수적임을 검증한다.
• 본 연구는 Colab과 오픈소스 코드를 통해 재현 가능한 실험을 제공하여 향후 연구자들이 분리도 및 하류 작업 성능에 대한 결과를 검증하고 확장할 수 있도록 지원한다.