[논문 리뷰] Gradient-based Training of Slow Feature Analysis by Differentiable Approximate Whitening

Merlin Schüler, Hlynur Davíð Hlynsson외 1명|arXiv (Cornell University)|2018. 08. 27.

Neural dynamics and brain function참고 문헌 40인용 수 6

한 줄 요약

이 논문은 고차원 데이터에서 시간적으로 느린 특징을 추출하기 위해 미분 가능하고 기울기 기반인 방법인 파wr 슬로우 특징 분석(PowerSFA)을 소개한다. 이는 미분 가능한 방식으로 화이트닝을 근사함으로써 기존의 고정된 수작업 기반 기저 함수에 의존하지 않고, 딥 아키텍처를 위한 엔드 투 엔드 학습을 가능하게 한다. 이는 합성 데이터, 이고시각적 데이터, 그래프 기반 유사도 데이터에서 고품질의 비중복 특징을 성공적으로 학습하여 불변 표현을 추출한다.

ABSTRACT

We propose Power Slow Feature Analysis, a gradient-based method to extract temporally slow features from a high-dimensional input stream that varies on a faster time-scale, as a variant of Slow Feature Analysis (SFA) that allows end-to-end training of arbitrary differentiable architectures and thereby significantly extends the class of models that can effectively be used for slow feature extraction. We provide experimental evidence that PowerSFA is able to extract meaningful and informative low-dimensional features in the case of (a) synthetic low-dimensional data, (b) ego-visual data, and also for (c) a general dataset for which symmetric non-temporal similarities between points can be defined.

연구 동기 및 목표

• 기존 SFA는 고정된 수작업 기반 기저 함수에 의존하고 딥 아키텍처와 엔드 투 엔드 학습이 불가능하므로 이러한 제약을 극복하기 위해.
• 화이트닝 단계를 미분 가능하게 하여 임의의 미분 가능한 모델에 대해 엔드 투 엔드 학습이 가능한 슬로우 특징 추출을 가능하게 하기 위해.
• 기울기 기반 SFA와 미분 가능한 화이트닝을 통해 시간 시리즈 및 유사도 기반 데이터를 포함한 다양한 데이터 유형에서 의미 있는 비중복 특징과 정보가 풍부한 저차원 특징을 추출할 수 있음을 보여주기 위해.
• PowerSFA가 레이블이 없는 원시 시각 입력에서 직접 3D 환경 내 위치 및 방향성과 같은 불변 표현을 학습할 수 있음을 보여주기 위해.
• SFA의 적용 범위를 순차적 데이터를 넘어서, 그래프 기반 유사도 구조로 일반화함으로써 아즈임스 및 엘레베이션과 같은 분리 가능한 구성 매개변수를 유지하기 위해.

제안 방법

• 기본적인 SFA의 폐쇄형 화이트닝 단계를 대체하기 위해 미분 가능한 근사를 사용하는 PowerSFA의 변종을 제안한다.
• 배치 기반 공분산 행렬 추정을 통해 역전파를 통해 미분 가능한 화이트닝 변환을 계산한다.
• 기울기 하강 최적화를 적용하여 느림도 목적 함수를 최소화하면서, 미분 가능한 화이트닝을 통해 비중복성을 강제한다.
• 현재 및 이전 배치 공분산 행렬의 볼록 혼합을 사용하여 학습을 안정화하고 최소 필수 배치 크기를 감소시키지만, 주요 실험에서는 이 방법을 사용하지 않는다.
• CNN과 같은 딥 신경망에 이 방법을 통합하여 이고시각적 시간 시리즈 데이터로부터 느리고 불변하는 특징을 학습한다.
• 데이터 포인트 간의 대칭적 유사도를 정의함으로써 비시간적 데이터로의 접근을 일반화하고, 미분 가능한 화이트닝을 갖춘 그래프 기반 SFA를 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능한 화이트닝이 딥 아키텍처를 위한 엔드 투 엔드 학습을 가능하게 하여 기존 SFA의 한계를 극복할 수 있는가?
• RQ2 기울기 기반 최적화를 통해 PowerSFA가 합성 시간 시리즈 데이터에서 의미 있는 비중복 특징을 추출할 수 있는가?
• RQ3 PowerSFA는 레이블이 없는 이고시각적 시간 시리즈 데이터에서 위치 및 방향성과 같은 공간적 불변 표현을 학습할 수 있는가?
• RQ4 대칭적 유사도 구조를 활용하여 비시간적 데이터로의 일반화가 가능하며, 아즈임스 및 엘레베이션과 같은 분리 가능한 구성 매개변수를 유지할 수 있는가?
• RQ5 미분 가능한 화이트닝 단계가 손실 함수에 관계없이 비중복 출력 특징을 보장함으로써, 다양한 비지도 표현 학습 원리에 광범위하게 적용 가능한가?

주요 결과

• PowerSFA는 합성 저차원 시간 시리즈 데이터에서 느리고 정보가 풍부한 특징을 성공적으로 추출하였으며, 선형 특징은 폐쇄형 SFA의 최적 해와 매우 유사하게 일치한다.
• 3D 환경의 이고시각적 데이터에서 PowerSFA는 급격히 변화하는 시각적 회전에 대해 불변인 표현을 학습하였으며, 실린더형 임베딩을 통해 위치와 방향성을 잘 포착하였다.
• 비시간 시리즈 이미지 데이터셋에서 PowerSFA는 아즈임스 및 엘레베이션의 분리된 표현을 성공적으로 학습하였고, 새로운 구성에 대해서도 잘 일반화되었다.
• 학습된 특징에 ICA를 적용한 결과, 척추동물 해마에서 관찰되는 장소세포 유사 활동 패tern을 재현하였으며, 생물학적 타당성을 시사하였다.
• 미분 가능한 화이트닝은 손실 함수에 관계없이 비중복 출력 특징을 보장하므로, 다양한 비지도 학습 원리에 적용 가능한 방법이 되었다.
• 현재로선 출력 특징 수가 증가함에 따라 배치 크기 제약과 공분산 행렬 연산의 높은 계산 비용으로 인해 스케일링이 잘 되지 않지만, 배치 공분산 혼합을 통해 잠재적인 완화 경로가 제시되었다.