[논문 리뷰] Multifactor Sequential Disentanglement via Structured Koopman Autoencoders

Nimrod Berman, Ilan Naiman외 1명|arXiv (Cornell University)|2023. 03. 30.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 쿠프만 연산자 이론을 활용하여 잠재 공간 내 선형 역학을 이용함으로써 다요소 순차적 분리 기능을 수행하는 새로운 비지도 딥러닝 모델, 구조적 쿠프만 오토인코더를 제안한다. 새로운 스펙트럼 손실은 고유분해를 통해 정적 요소와 동적 요소를 명확히 분리함으로써, 레이블 없이도 정체성, 자세, 운동 등의 다수의 의미적 구성 요소를 분리 생성하고 조작할 수 있도록 한다. 이는 기존의 비지도 방법들보다 벤치마크 과제에서 뛰어난 성능을 보였다.

ABSTRACT

Disentangling complex data to its latent factors of variation is a fundamental task in representation learning. Existing work on sequential disentanglement mostly provides two factor representations, i.e., it separates the data to time-varying and time-invariant factors. In contrast, we consider multifactor disentanglement in which multiple (more than two) semantic disentangled components are generated. Key to our approach is a strong inductive bias where we assume that the underlying dynamics can be represented linearly in the latent space. Under this assumption, it becomes natural to exploit the recently introduced Koopman autoencoder models. However, disentangled representations are not guaranteed in Koopman approaches, and thus we propose a novel spectral loss term which leads to structured Koopman matrices and disentanglement. Overall, we propose a simple and easy to code new deep model that is fully unsupervised and it supports multifactor disentanglement. We showcase new disentangling abilities such as swapping of individual static factors between characters, and an incremental swap of disentangled factors from the source to the target. Moreover, we evaluate our method extensively on two factor standard benchmark tasks where we significantly improve over competing unsupervised approaches, and we perform competitively in comparison to weakly- and self-supervised state-of-the-art approaches. The code is available at https://github.com/azencot-group/SKD.

연구 동기 및 목표

• 정체성, 자세, 운동과 같은 두 개 이상의 의미적 요소(예: 정체성, 자세, 운동)를 분리하는 데에 초점을 맞춘 순차적 데이터에서의 다요소 분리 기능을 위한 비지도 방법의 부족을 해결한다.
• 이전의 비지도 모델이 시간에 따라 변하는 요소와 시간에 관계없는 요소로만 데이터를 분리하는 데에 한계가 있다는 점을 극복한다.
• 순차적 동역학이 잠재 공간에서 선형적으로 표현될 수 있다는 가정을 기반으로 한 쿠프만 이론에 기반한 강력한 인도크티브 바이어스를 도입한다.
• 정적 요소와 동적 요소의 고유벡터가 명확히 분리되도록 하는, 구조적 쿠프만 행렬을 강제하는 스펙트럼 페널티 손실을 개발한다.
• 정적 요소를 고정한 상태에서의 조건부 생성 및 단계적 요소 교환과 같은 실용적인 분리 기능을 가능하게 한다.

제안 방법

• 잠재 공간 내에서 선형 연산자(쿠프만 행렬)를 사용하여 순차적 데이터의 동역학을 모델링하는 쿠프만 오토인코더 프레임워크를 제안한다.
• 고유값 집합의 응집을 방지하고, 정적 요소에 관련된 고유값(1에 가까운 값)과 동적 요소에 관련된 고유값(1에서 벗어난 값) 간의 분리를 촉진하는 새로운 스펙트럼 손실 항목 $\mathcal{L}_{\text{eig}}$ 를 적용한다.
• 쿠프만 행렬의 고유분해를 통해 분리된 요소를 추출한다: 각 고유벡터는 고유한 의미적 요소를 나타내며, 고유값에 따라 정적 또는 동적 요소로 분류된다.
• 모델을 완전히 비지도로 설계하여 레이블이나 보조 지도 신호가 필요 없으며, 재구성 손실과 스펙트럼 정규화에 기반한 학습만을 수행한다.
• 하나의 하이퍼파라미터를 통해 요소의 수를 제어할 수 있도록 하여, 각 요소가 쿠프만 연산자의 고유벡터에 대응하도록 한다.
• 학습의 효율성을 높이기 위해 SVD 기반의 의사역행렬 계산을 사용하여 쿠프만 레이어를 구현하고, 고유분해를 손실 함수에서만 스펙트럼 정규화 목적으로 사용한다.

실험 결과

연구 질문

• RQ1 스펙트럼 정규화 손실을 갖춘 쿠프만 기반 오토인코더가 지도 없이 순차적 데이터에서 다요소 분리 기능을 달성할 수 있는가?
• RQ2 제안된 스펙트럼 손실은 기존의 다른 손실들과 비교해 쿠프만 행렬 스펙트럼 내 정적 요소와 동적 요소를 얼마나 효과적으로 분리하는가?
• RQ3 모델은 순차 간 개별 정적 요소의 단계적 교환과 같은 실용적인 분리 기능을 어느 정도 지원할 수 있는가?
• RQ4 기본 벤치마크에서 최신의 비지도, 약한 지도, 자기지도 방법들과 비교해 모델의 성능은 어떠한가?
• RQ5 기존의 접근 방식들과 비교해 본 모델의 계산 및 파라미터 효율성은 어떠한가?

주요 결과

• 제안된 방법은 표준 이요소 분리 벤치마크에서 경쟁 비지도 모델들보다 뚜렷한 성능 향상을 보이며, 뛰어난 분리 품질을 입증하였다.
• 스펙트럼 손실 덕분에 고유값이 1 근처(정적 요소)와 1에서 벗어난 영역(동적 요소)으로 명확한 클러스터로 분리되었으며, 이는 강건한 분리 기능을 가능하게 하였다.
• 기존의 비지도 모델이 지원하지 못하는 새로운 분리 기능인, 소스 및 타겟 순차 간 개별 정적 요소의 단계적 교환을 모델이 실현하였다.
• 완전히 비지도임에도 불구하고, 약한 지도 및 자기지도 최신 기법들과 경쟁 가능한 성능을 달성하였다.
• 모델은 단지 200만 개의 파라미터만을 사용하여 다른 방법들(예: 1,100만~1,210만 개)보다 훨씬 적은 파라미터를 사용하였고, 데이터 증강이나 외부 지도 신호가 필요로 하지 않았다.
• 제거 실험을 통해 스펙트럼 손실이 필수적임을 확인하였다: 이 손실이 없는 모델은 고유값 클러스터가 겹쳐져 있어 분리가 어려웠다.