[논문 리뷰] Learning Group Structure and Disentangled Representations of Dynamical Environments

Robin Quessard, Thomas D. Barrett외 1명|arXiv (Cornell University)|2020. 02. 17.

Neural Networks and Applications참고 문헌 42인용 수 11

한 줄 요약

이 논문은 대칭을 유지하는 변환을 잠재 공간 내 특수 직교 행렬로 모델링함으로써 역학적 환경의 분리 가능하고 해석 가능한 표현을 학습하기 위한 군 표현 이론 기반 프레임워크를 제안한다. 분리 가능성을 증진시켜 그룹 구조를 유지하는 정확하고 저질서 행렬을 유도하는 분리 가능성 정규화 기법을 도입함으로써 장기 예측 정확도를 향상시켰으며, 대칭 환경에서 분리 가능성과 예측 성능 간의 상관관계를 입증하였다.

ABSTRACT

Learning disentangled representations is a key step towards effectively discovering and modelling the underlying structure of environments. In the natural sciences, physics has found great success by describing the universe in terms of symmetry preserving transformations. Inspired by this formalism, we propose a framework, built upon the theory of group representation, for learning representations of a dynamical environment structured around the transformations that generate its evolution. Experimentally, we learn the structure of explicitly symmetric environments without supervision from observational data generated by sequential interactions. We further introduce an intuitive disentanglement regularisation to ensure the interpretability of the learnt representations. We show that our method enables accurate long-horizon predictions, and demonstrate a correlation between the quality of predictions and disentanglement in the latent space.

연구 동기 및 목표

• 기본 대칭군에 대한 사전 지식 없이도 역학적 환경의 분리 가능한 표현을 학습하는 방법을 개발하기 위해.
• 물리학 기반 군 표현 이론과 기계 학습 표현 학습 간의 연결 고리를 설정하기 위해.
• 환경 역학의 구조적이고 해석 가능한 잠재 표현을 학습함으로써 장기 예측을 정확하게 수행하기 위해.
• 잠재 공간에서의 분리 가능성을 촉진하는 정규화 기법을 도입하여 예측 일반화 능력을 향상시키기 위해.
• 분리 가능한 표현이 대칭 환경에서 예측 성능 향상과 관련이 있음을 경험적으로 검증하기 위해.

제안 방법

• 변환을 잠재 벡터 위에 선형적으로 작용하는 특수 직교 행렬로 표현하는 잠재 공간을 사용하여 환경의 역학을 기술하기 위해.
• 감독 없이 순차적 상호작용 데이터를 기반으로 모델을 훈련시켜 군의 대칭성 구조를 학습하며, 변분 오토에인코더 유사 아키텍처를 사용하기 위해.
• 각 변환 행렬이 잠재 차원의 소규모이고 고유한 부분집합에만 작용하도록 제한하는 분리 가능성 정규화를 적용하여 상관관계를 감소시키기 위해.
• 관측치를 인코딩하고 변환을 회전 행렬의 곱으로 모델링하기 위해 4차원의 잠재 공간을 사용하여 구조적 표현 학습을 가능하게 하기 위해.
• 재구성 손실과 분리 가능성 정규화를 사용하여 종합적으로 모델을 훈련시켜 그룹 표현의 정확성을 증진시키기 위해.
• 직접 예측 기반 베이스라인(구조적 인덕티브 바이어스가 없는)과 비교하여 장기 궤도 예측 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 기본 대칭군에 대한 사전 지식 없이도 관측 데이터에서 역학적 환경의 분리 가능한 표현을 학습할 수 있는가?
• RQ2 잠재 공간에서의 분리 가능성 강제가 장기 예측 성능에 어떤 영향을 미치는가?
• RQ3 학습된 변환 행렬이 환경의 대칭성에 대한 진정한 군 구조를 어느 정도 반영하는가?
• RQ4 각 변환에 대해 활성화된 잠재 차원 수를 제한하는 정규화 기법이 분리 가능성과 예측 정확도 향상에 기여하는가?
• RQ5 분리 가능성 수준과 장기 예측 정확도 사이에 측정 가능한 상관관계가 존재하는가?

주요 결과

• 제안된 방법은 감독 없이 순차적 관측 데이터로부터 명시적으로 대칭적인 환경의 기본 군 구조를 성공적으로 학습하였다.
• 분리 가능성 정규화는 순환성 및 교환 관계와 같은 핵심 군 성질을 더 잘 유지하는 변환 행렬을 도출하였다.
• 직접 예측 기반 베이스라인은 반복적인 인코딩 및 디코딩으로 인한 오차 누적이 발생하여 시간이 갈수록 예측 성능이 크게 떨어졌다.
• 분리 가능성 정규화를 적용한 제안 프레임워크는 직접 예측 모델과 정규화 없이 학습된 프레임워크보다 뛰어난 장기 예측 정확도를 달성하였다.
• 잠재 공간 내 분리 가능성 수준과 장기 예측 정확도 사이에 명확한 상관관계가 관찰되었다.
• 활성화된 잠재 차원 수에 대한 단순한 정규화가 자연스럽게 분리 가능성을 촉진하고 일반화 능력을 향상시킴을 입증하였다.