[논문 리뷰] Understanding Visual Concepts with Continuation Learning

WILLIAM F. WHITNEY, Michael Chang외 2명|arXiv (Cornell University)|2016. 02. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 36

한 줄 요약

이 논문은 비디오 시퀀스의 시간 연속성을 활용하여 분리된, 기호적인 시각적 표현을 학습하는 계속 학습 프레임워크를 제안한다. 한 프레임에서 다음 프레임으로 숨겨진 상태의 일부 성분만 게이팅함으로써, 자세, 조명, 또는 물체 위치와 같은 변동 요인들이 이산적이고 해석 가능한 단위로 분리되며, 아타리 게임과 3D 얼굴 데이터셋에서 지도 학습 없이도 인과적 표현을 달성한다.

ABSTRACT

We introduce a neural network architecture and a learning algorithm to produce factorized symbolic representations. We propose to learn these concepts by observing consecutive frames, letting all the components of the hidden representation except a small discrete set (gating units) be predicted from the previous frame, and let the factors of variation in the next frame be represented entirely by these discrete gated units (corresponding to symbolic representations). We demonstrate the efficacy of our approach on datasets of faces undergoing 3D transformations and Atari 2600 games.

연구 동기 및 목표

• 수동 애너테이션 없이 원시 이미지 시퀀스에서 분리된, 기호적인 시각적 개념을 자기지도 학습 방식으로 학습하는 방법을 개발하는 것.
• 딥 러닝에서 대부분의 잠복 요인이 뒤섞여 있고 의미가 없는 상황에서 해석 가능한, 인과적 표현을 생성하는 도전 과제를 해결하는 것.
• 비디오 프레임 간의 시간 연속성을 활용하여 물체 운동, 자세, 조명 변화와 같은 고수준의 시각적 개념을 추론하는 것.
• 잠복 표현의 변화를 이산적이고 해석 가능한 구성 요소로 분리함으로써 시각 데이터에 대한 기호적 추론을 가능하게 하는 것.
• 소수의 이산적 게이팅 단위가 복잡한 시각적 변환을 포착하면서도 장면의 불변 특징을 유지할 수 있는지 확인하는 것.

제안 방법

• 모델은 연속 프레임에 대해 공유된 인코더를 사용하는 딥 컨volution 오토에인코더를 사용하여 잠복 표현 h_{t-1}과 h_t를 생성한다.
• 게이팅 헤드는 h_t의 하나 이상의 성분을 선택하여 h_{t-1}의 해당 성분을 대체함으로써, 복원을 위한 새로운 은닉 표현 ŝ_t를 형성한다.
• 재구성 손실은 ŝ_t에서 현재 프레임 x_t를 예측함으로써 최소화되며, 이는 게이팅된 성분이 x_{t-1}에서 x_t로의 변화만을 인코딩하도록 유도한다.
• 부드러운-경직된 게이팅 메커니즘이 사용되며, 온도 매개변수 γ가 점차 날카워져 기저의 소프트 어텐션을 통해 이진 선택을 미분 가능하게 강제한다.
• 학습 중 게이팅 로그에 노이즈가 추가되며, 날카워짐 스케줄은 모델이 시간이 지남에 따라 경직된 결정으로 수렴하도록 보장한다.
• 모델은 나머지 표현이 이전 프레임으로부터 예측되도록 하여, 모든 변화를 최소한의 이산 단위로 표현하도록 유도함으로써 분리성을 촉진한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크는 지도 학습 없이 원시 비디오 시퀀스에서 분리된, 기호적인 시각적 표현을 학습할 수 있는가?
• RQ2 이미지 시퀀스의 시간 연속성을 활용하여 잠복 공간의 이산적이고 해석 가능한 구성 요소로 변동 요인을 분리할 수 있는가?
• RQ3 단일 또는 다수의 잠복 단위만 선택적으로 업데이트하는 게이팅 메커니즘이 표준 오토에인코더보다 더 나은 분리성과 해석 가능성을 제공하는가?
• RQ4 모델은 아키텍처의 최소한의 변경으로도 3D 얼굴 변형과 아타리 게임 프레임과 같은 다양한 시각적 도메인으로 일반화 가능한가?
• RQ5 개별 잠복 단위를 얼마나 제어하여 조명, 자세, 또는 물체 위치와 같은 특정 시각적 특성에 영향을 줄 수 있는가?

주요 결과

• 모델은 얼굴의 방위각, 고도, 조명 방향, 패드 위치, 생명 수 등 개별적인 변동 요인들을 잠복 공간 내에서 이산적이고 해석 가능한 단위로 성공적으로 분리한다.
• 아타리 브레이크아웃 데이터셋에서, 하나의 게이팅 단위는 패드 위치를 제어하고, 다른 하나는 생명 수를 제어하며, 나머지는 조명과 배경을 담당하여 명확한 분리성을 보였다.
• 합성 얼굴 시퀀스에서는 하나의 게이팅 단위가 조명, 고도 또는 방위각의 변화를 포착하였으며, 생성된 이미지에 대해 매끄럽고 의미 있는 제어를 가능하게 하였다.
• 소수의 게이팅 성분만으로도 현재 프레임을 고해상도로 재구성할 수 있었으며, 이는 시각적 변화를 기호적 단위로 효과적으로 압축했음을 시사한다.
• 학습 종료 시 게이팅 메커니즘이 경직된 결정으로 수렴하였고, 최종 모델은 두 프레임 간의 모든 변화를 하나 또는 세 개의 이산 성분으로만 표현하였다.
• 개별 잠복 단위의 조작은 의미 있는 이미지 변환을 유도하였으며, 각 게이팅 단위가 별개의 시각적 개념에 해당함을 확인하였다.