[논문 리뷰] Disentangled Representations in Neural Models

WILLIAM F. WHITNEY|arXiv (Cornell University)|2016. 02. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 8

한 줄 요약

이 논문은 시각과 계산 분야에서 신경망 내 분리 표현을 학습하기 위한 프레임워크를 제안한다. 이 프레임워크는 두 가지 상호보완적인 접근 방식을 사용한다: 시각 분야에선 딥 컨volution 알 수 없는 그라피컬 네트워크(DC-IGN), 계산 분야에선 컨트롤러-함수 네트워크(CFN)를 사용한다. 배치 단위의 변환 제어와 계속 학습을 통해 분리 표현을 강제로 구현함으로써, 성능 저하 없이 해석 가능하고 재사용 가능하며 높은 성능을 발휘하는 표현을 달성하였으며, 치명적인 잊음에 매우 강하다.

ABSTRACT

Representation learning is the foundation for the recent success of neural network models. However, the distributed representations generated by neural networks are far from ideal. Due to their highly entangled nature, they are di cult to reuse and interpret, and they do a poor job of capturing the sparsity which is present in real- world transformations. In this paper, I describe methods for learning disentangled representations in the two domains of graphics and computation. These methods allow neural methods to learn representations which are easy to interpret and reuse, yet they incur little or no penalty to performance. In the Graphics section, I demonstrate the ability of these methods to infer the generating parameters of images and rerender those images under novel conditions. In the Computation section, I describe a model which is able to factorize a multitask learning problem into subtasks and which experiences no catastrophic forgetting. Together these techniques provide the tools to design a wide range of models that learn disentangled representations and better model the factors of variation in the real world.

연구 동기 및 목표

• 딥 신경망 내에서 얽히고 얽힌, 해석 불가능한 표현의 한계를 해결한다.
• 모델 성능을 희생시키지 않고 시각과 계산 분야에서 분리 표현을 학습할 수 있는 방법을 개발한다.
• 다중 작업 학습에서 잊음의 치명적 영향을 줄이기 위해 작업을 재사용 가능하고 해석 가능한 구성 요소로 분해한다.
• 이미지 속성(예: 자세, 조명)에 대한 제로샷 조작과 새로운 조건으로의 일반화를 가능하게 한다.
• 비가역 함수를 학습 가능한 가중치 메커니즘을 통해 조합할 수 있는 미분 가능 아키텍처를 설계한다.

제안 방법

• 스토캐스틱 백프로파게이션을 사용한 변동형 자동에코더 목표로 DC-IGN을 훈련하며, 한 번의 미니배치에서 오직 하나의 잠재 변수만 변화하고 나머지는 그들의 배치 평균으로 고정한다.
• 한 번의 미니배치에서 오직 하나의 활성 변환(예: 얼굴 회전, 조명 변화)만 포함되도록 하여 분리 표현을 강제로 적용함으로써, 각 잠재 뉴런이 오직 그 요인의 변동성만 캡처하도록 유도한다.
• 입력에 따라 여러 기본 함수의 가중치를 학습하는 컨트롤러-함수 네트워크(CFN)를 사용하여 모듈식이고 해석 가능한 계산을 가능하게 한다.
• CFN에서 하드 및 소프트 결정을 구현하며, 노이즈가 섞인 결정과 계속 학습 방법을 통해 훈련을 안정화시켜 함수 조합을 점진적으로 정교화한다.
• 컨트롤러를 통한 기울기가 함수의 기울기에 의존하지 않는 성질을 활용하여, 함수가 비가역일 경우에도 훈련이 가능하도록 한다.
• 계속 학습을 통해 깊고 다단계적인 CFN을 훈련함으로써, 훈련 중에 시간 단계 수를 점진적으로 증가시켜 분리 표현과 성능를 유지한다.

실험 결과

연구 질문

• RQ1 비가역적이고 종단 간 훈련 절차를 통해 이미지 변환에 대해 인과적 제어를 강제할 수 있는 분리 표현을 시각 분야에서 학습할 수 있는가?
• RQ2 계산 분야에서 분리 표현이 다중 작업 학습에서 치명적인 잊음 문제를 방지하면서도 높은 성능 유지를 할 수 있는가?
• RQ3 컨트롤러 네트워크가 학습 가능한, 가역적인 가중치를 통해 비가역 함수를 얼마나 잘 조합할 수 있는가? 이는 모듈식이고 해석 가능한 계산을 가능하게 하는가?
• RQ4 계속 학습을 통해 깊고 다단계적인 CFN을 훈련시킬 수 있으며, 분리 표현을 유지하고 성능 저하를 피할 수 있는가?
• RQ5 통합된 프레임워크는 완전히 비지도 방식으로 영상 데이터의 진짜 변동 요인을 추론하고 표현할 수 있는가?

주요 결과

• DC-IGN 모델은 자세, 조명, 형태와 같은 이미지 요인을 성공적으로 분리하여, 높은 정성적 정밀도로 새로운 조건에서의 이미지 재렌더링을 제로샷으로 수행할 수 있다.
• 3D 얼굴 데이터셋에서 DC-IGN 인코더는 정적 테스트 이미지에서 변환을 정확히 예측하며, 다양한 네트워크 구성에서도 성능가 지속적으로 우수하다.
• 컨트롤러-함수 네트워크(CFN)는 다중 작업 학습에서 함수의 완전한 분리를 달성하며, 복잡한 순차적 작업을 학습하더라도 치명적인 잊음 없이 성능 유지한다.
• CFN 아키텍처는 비가역 함수에 대해 연속적이고 가역적인 가중치를 생성하여, 함수의 비가역성에도 불구하고 백프로파게이션을 통한 훈련이 가능하게 한다.
• 실험 결과, 분리 표현은 엉키는 기준 모델 대비 성능 손실가 없으며, 일반화 능력과 강건성을 유지하거나 향상시킨다.
• DC-IGN과 CFN의 조합은 영상에서 변동 요인을 완전히 비지도 방식으로 추론하고 표현하는 길을 열어주며, 계층적이고 희소적이며 해석 가능한 세계 모델의 가능성 제공