[논문 리뷰] Unsupervised Learning of Disentangled Representations from Video

Emily Denton, Vighnesh Birodkar|arXiv (Cornell University)|2017. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 228

한 줄 요약

DrNet는 비디오에서 시간 불변의 콘텐츠(content)와 시간 가변의 포즈(pose)로 해리된 표현을 새로운 적대적 손실을 사용하여 학습시키고, 이를 통해 긴 범위의 프레임 예측 및 어느 구성요소에서나 효과적인 분류를 가능하게 한다.

ABSTRACT

We present a new model DrNET that learns disentangled image representations from video. Our approach leverages the temporal coherence of video and a novel adversarial loss to learn a representation that factorizes each frame into a stationary part and a temporally varying component. The disentangled representation can be used for a range of tasks. For example, applying a standard LSTM to the time-vary components enables prediction of future frames. We evaluate our approach on a range of synthetic and real videos, demonstrating the ability to coherently generate hundreds of steps into the future.

연구 동기 및 목표

• 레이블 없이 강건한 비디오 표현의 비지도 학습을 촉진한다.
• 비디오 프레임을 정적 콘텐츠 구성요소와 동적 포즈 구성요소로 분해한다.
• 포즈가 클립 특유의 콘텐츠 정보를 담지 않도록 하기 위한 적대적 손실을 도입한다.
• 해리된 특징을 사용한 장거리 프레임 예측 및 분류를 시연한다.

제안 방법

• 두 개의 인코더가 프레임당 콘텐츠(E_c)와 포즈(E_p) 표현을 생성한다.
• 디코더(D)가 연결된 콘텐츠 특징과 미래 포즈 특징으로 미래 프레임을 예측한다.
• 적대적 판별기(C)가 포즈 특징이 클립 식별 정보를 드러낼 수 없도록 강제한다.
• 유사도 손실이 콘텐츠 특징이 시간에 따라 느리게 변화하도록 촉진한다.
• 재구성, 유사성, 적대적 항들을 가중치를 조정 가능한 전체 목적 함수로 결합한다.

실험 결과

연구 질문

• RQ1 비디오 프레임을 시간 불변의 콘텐츠와 시간 가변의 포즈로 비지도 학습 없이 분해할 수 있는가?
• RQ2 포즈 특징에 대한 적대적 학습이 예측 가능한 재구성을 보존하면서 콘텐츠/포즈 해리화를 강요하는가?
• RQ3 해리된 표현이 정확한 장거리 비디오 예측 및 다운스트림 분류 작업을 지원하는가?

주요 결과

• 모델은 합성 및 실제 비디오에서 깨끗한 콘텐츠/포즈 인자를 학습한다.
• 마지막으로 관찰된 프레임의 고정 콘텐츠를 사용하고 포즈 특징에 간단한 LSTM을 적용하여 수백 단계에 이르는 장거리 프레임 예측이 가능하다.
• 콘텐츠 특징은 의미론적 분류를 지원하고, 포즈 특징은 동작 예측을 지원한다.
• 적대적 손실은 해리화를 강제하는 데 결정적이며, 이를 제거하면 콘텐츠-포즈 분리와 분류 성능이 저하된다.
• NORB에서 콘텐츠 특징은 β=0.1일 때 높은 정확도를 달성하고, 포즈 특징은 β 설정에 따라 다르게 작동한다(표 참조).
• 이 방법은 실제 비디오(KTH) 및 합성 데이터에서 기준선과 비교해 경쟁력 있거나 우수한 정성적 결과를 산출한다.