[논문 리뷰] Weakly Supervised Representation Learning with Sparse Perturbations

Kartik Ahuja, Jason Hartford외 1명|arXiv (Cornell University)|2022. 06. 02.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 픽셀 수준의 데이터에서 희소한 교란을 사용하여 분리 가능한 잠재 요인을 식별하는 약한 지도 학습 표현 학습 방법을 제안한다—이러한 조작은 한 번에 소수의 잠재 변수만 변경한다. 이는 교란이 서로 겹치지 않는 또는 겹치는 블록의 잠재 변수에 작용할 경우, 잠재 변수를 애फिन 변환까지 식별할 수 있음을 증명한다. 교란 블록이 단일 변수에서 겹칠 경우, 개별 잠재 변수는 순열과 스케일링을 제외하고 식별 가능하다.

ABSTRACT

The theory of representation learning aims to build methods that provably invert the data generating process with minimal domain knowledge or any source of supervision. Most prior approaches require strong distributional assumptions on the latent variables and weak supervision (auxiliary information such as timestamps) to provide provable identification guarantees. In this work, we show that if one has weak supervision from observations generated by sparse perturbations of the latent variables--e.g. images in a reinforcement learning environment where actions move individual sprites--identification is achievable under unknown continuous latent distributions. We show that if the perturbations are applied only on mutually exclusive blocks of latents, we identify the latents up to those blocks. We also show that if these perturbation blocks overlap, we identify latents up to the smallest blocks shared across perturbations. Consequently, if there are blocks that intersect in one latent variable only, then such latents are identified up to permutation and scaling. We propose a natural estimation procedure based on this theory and illustrate it on low-dimensional synthetic and image-based experiments.

연구 동기 및 목표

• 잠재 변수에 대한 강력한 분포 가정 없이 표현 학습에서 분리 가능한 잠재 요인을 식별하는 문제에 대응한다.
• 독립 동일분포(i.i.d.) 데이터에서의 식별 문제를 해결하기 위해 희소한 교란을 약한 지도 학습으로 도입한다.
• 강력한 구조적 또는 분포 제약 조건 없이도 최소한의 가정 하에 잠재 변수의 이론적 식별 보장을 수립한다.
• 이론적 프레임워크를 기반으로 한 실용적인 추정 절차를 개발하여 합성 데이터 및 이미지 기반 데이터 모두에서 작동하도록 한다.
• 겹치는 교란 블록이 서로 겹치지 않는 경우보다 더 강력한 식별을 가능하게 하며, 이는 개별 잠재 변수를 순열과 스케일링을 제외하고 복원할 수 있음을 의미한다.

제안 방법

• 단지 소수의 잠재 변수만 변경하는 조작인 희소한 교란을 약한 지도 학습으로 사용하여 기저의 잠재 요인을 추론한다.
• 데이터 생성 과정을 X ← g(Z)로 모델링하며, 교란은 특정한 잠재 변수 부분집합에만 영향을 미친다.
• 교란이 잠재 변수의 상호배타적 블록에 작용할 경우, 애फिन 변환까지의 식별을 증명한다.
• 교란 블록이 겹칠 경우 더 강력한 식별이 가능함을 보여주며, 이 경우 잠재 변수는 가장 작은 겹침 블록의 애फिन 변환까지 식별된다.
• 예측된 교란과 실제 교란 간의 손실 함수를 최소화하는 신경망 기반 추정 절차를 제안한다.
• 예측된 잠재 변수를 진짜 잠재 변수에 대해 회귀 분석하여 이론적 주장의 타당성을 검증하며, 기울기와 절편 분석을 통해 정렬 정도를 평가한다.

실험 결과

연구 질문

• RQ1 잠재 변수에 대한 희소한 교란이 강력한 분포 가정 없이도 증명 가능한 분리 표현을 식별할 수 있는가?
• RQ2 교란 블록의 구조(서로 겹치지 않는지, 겹치는지)가 달성 가능한 식별 수준에 어떤 영향을 미치는가?
• RQ3 교란이 잠재 변수의 부분집합에만 영향을 미칠 경우, 식별의 이론적 한계는 무엇인가?
• RQ4 교란 블록이 단일 잠재 변수에서 겹친다면, 개별 잠재 변수는 순열과 스케일링을 제외하고 식별 가능한가?
• RQ5 제안된 추정 절차는 합성 데이터 및 이미지 기반 데이터에서 실제 잠재 변수를 얼마나 잘 복원하는가?

주요 결과

• 교란이 잠재 변수의 상호배타적 블록에 영향을 미칠 경우, 방법은 해당 블록의 애फिन 변환까지의 잠재 변수를 식별한다.
• 교란 블록이 겹칠 경우, 방법은 가장 작은 겹침 블록의 애फिन 변환까지의 잠재 변수를 식별한다.
• 두 교란 블록이 오직 하나의 잠재 변수에서 겹칠 경우, 그 잠재 변수는 순열과 스케일링을 제외하고 식별 가능하다.
• 저차원 합성 실험에서 제안된 추정 절차는 진짜 잠재 변수를 성공적으로 복원하며, 예측된 잠재 변수가 진짜 값과 밀접하게 일치한다.
• 이미지 기반 실험에서는 교란이 희소하더라도 시각적 변화가 밀집되어 있을 때에도 잠재 이동을 정확하게 예측할 수 있어, 비희소한 시각적 효과에 대해 강건함을 보였다.
• 실험 결과는 예측된 교란이 진짜 변화와 일치할 때 손실 함수가 정적 점으로 수렴함을 보여주며, 이는 이론적 분석의 타당성을 검증한다.